[논문 리뷰] Dependency-aware Attention Control for Unconstrained Face Recognition with Image Sets

Xiaofeng Liu, B. V. K. Vijaya Kumar외 3명|arXiv (Cornell University)|2019. 07. 05.

Face recognition and analysis참고 문헌 69인용 수 8

한 줄 요약

이 논문은 비순서 이미지 세트에서의 상호이미지 종속성을 모델링하기 위해 디펜던시 인식 주의 제어(DAC)를 제안한다. 이는 액터-크리틱 강화학습을 활용한 딥 강화학습 프레임워크로서, 주어진 이미지 세트의 주의 할당을 마코프 결정 과정(MDP)으로 설정하여, 각 이미지의 맥락적 관계에 기반해 적응적으로 이미지의 가중치를 조정함으로써, YTF 및 Celebrity-1000 벤치마크에서 최신 기법들을 초월하는 정확도를 달성한다. 추가적인 감독 없이도 성능을 향상시킨다.

ABSTRACT

This paper targets the problem of image set-based face verification and identification. Unlike traditional single media (an image or video) setting, we encounter a set of heterogeneous contents containing orderless images and videos. The importance of each image is usually considered either equal or based on their independent quality assessment. How to model the relationship of orderless images within a set remains a challenge. We address this problem by formulating it as a Markov Decision Process (MDP) in the latent space. Specifically, we first present a dependency-aware attention control (DAC) network, which resorts to actor-critic reinforcement learning for sequential attention decision of each image embedding to fully exploit the rich correlation cues among the unordered images. Moreover, we introduce its sample-efficient variant with off-policy experience replay to speed up the learning process. The pose-guided representation scheme can further boost the performance at the extremes of the pose variation.

연구 동기 및 목표

• 전통적인 방법이 각 이미지의 중요도가 동일하거나 상호 독립적이라고 가정하는 바탕으로, 비순서적이며 이질적인 이미지 세트에서의 이미지 간 관계를 모델링하는 도전 과제를 해결한다.
• 이미지의 개별 품질에 기반해 가중치를 할당하는 기존 방법의 한계를 극복하여, 반복적이고 다양한 저품질이지만 정보가 풍부한 시야의 손실을 방지한다.
• 이미지 내 종속성과 세트 간 관계를 모두 활용하는 일반적인 주의 메커니즘을 개발하여, 비제한적인 얼굴 검증 및 식별에서의 강건성을 향상시킨다.
• 추가 애너테이션이나 복잡한 데이터 파이프라인 없이도, 세트 수준의 정체성 레이블만으로도 엔드 투 엔드 학습을 가능하게 한다.
• 포즈 가이드드 표현 방식과 오프-폴리시 경험 리플레이를 통해 계산 효율성과 정보 활용도의 균형을 맞춘다.

제안 방법

• 이미지 세트 주의 문제를 잠재 공간에서 마코프 결정 과정(MDP)으로 설정하여, 각 이미지를 상태에 따라 행동 선택이 가능한 순차적 처리 방식을 적용한다.
• 액터-크리틱 딥 강화학습을 사용해 DAC 네트워크를 설계하여, 이전에 처리된 이미지의 맥락에 기반해 각 이미지의 주의 가중치를 결정하는 정책을 학습한다.
• 학습 속도 향상과 데이터 효율성 향상을 위해 오프-폴리시 경험 리플레이를 활용한 샘플 효율적인 DAC의 변종을 도입한다.
• 스토캐스틱 라우팅을 통한 포즈 가이드드 표현(PGR) 기법을 도입하여 세트 간 종속성을 모델링하고, 자세 변화에 대한 강건성을 향상시킨다.
• 이미지 세트의 정체성 레이블만으로도 전체 시스템을 엔드 투 엔드로 학습시켜 특징 추출과 주의 제어를 공동 최적화할 수 있도록 한다.
• 학습 중에 조밀한 지도를 제공하기 위해 리워드 네트워크를 사용하여, 압축되고 특징이 뚜렷한 세트 수준의 표현을 유도한다.

실험 결과

연구 질문

• RQ1 비순서 이미지 세트에서의 상호이미지 종속성을 모델링하기 위해 강화학습이 효과적으로 적용될 수 있는가?
• RQ2 이미지 간 맥락적 관계에 기반해 주의 가중치를 학습시키는 것이 독립적 또는 품질 기반 가중치 할당 방식보다 성능 향상에 기여하는가?
• RQ3 액터-크리틱 기반 딥 러닝 프레임워크가 개별 이미지 애너테이션 없이도 세트 수준의 감독만으로 엔드 투 엔드 학습이 가능한가?
• RQ4 YTF 및 IJB-A와 같은 도전적인 벤치마크에서 DAC 방법이 최신 기법들에 비해 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ5 포즈 가이드드 표현 기법이 극단적인 자세 변화 상황에서 성능 향상에 얼마나 기여하는가?

주요 결과

• YTF 데이터셋에서 DAC는 코어넷 백본을 미세조정하지 않더라도 95.97% ± 0.0041의 검증 정확도를 달성하여, FaceNet 및 NAN과 같은 최신 기법들을 초월한다.
• Celebrity-1000 데이터셋에서 DAC는 폐쇄세트 식별 시 랭크-1 정확도 91.37%와 개방세트 식별 시 82.64%를 기록하여, NAN 및 MTJSR를 포함한 모든 베이스라인 기법을 능가한다.
• 오프-폴리시 경험 리플레이를 사용하는 DAC(off) 버전은 DAC(on)보다 略적으로 더 높은 성능을 기록하여, 더 높은 샘플 효율성과 학습 안정성을 확보함을 시사한다.
• 절단 실험을 통해 DAC가 저품질이지만 유사한 외관을 가진 이미지의 중복을 효과적으로 줄이며, 프로파일과 같은 정보가 풍부한 시야를 유지함을 확인하였다.
• 포즈 가이드드 표현 기법은 극단적인 자세 변화 상황에서 성능 향상에 뚜렷한 기여를 하여, 실제 어려운 환경에서도 효과적인 처리 능력을 입증하였다.
• 이 방법은 다양한 데이터셋에 잘 일반화되며, 고급 CNN 아키텍처와 쉽게 통합 가능하므로, 얼굴 인식을 넘어서 광범위한 응용 분야에 적용 가능함을 시사한다.