[논문 리뷰] Pose-Robust Face Recognition via Deep Residual Equivariant Mapping

Kaidi Cao, Yu Rong외 3명|arXiv (Cornell University)|2018. 03. 02.

Face recognition and analysis참고 문헌 28인용 수 20

한 줄 요약

이 논문은 깊이 신경망의 프로파일 얼굴 특징 표현을 특징 공간 내에서 정준 전면 자세로 변환하는 경량이며 학습 가능한 모듈인 딥 리지드 에퀴아리언트 매핑(DREAM) 블록을 제안한다. 이는 데이터 증강 없이 자세에 강인한 얼굴 인식 성능을 향상시킨다. 제안된 방법은 여러 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기준 모델 대비 MS-Celeb-1M에서 등가오차율(EER)을 최대 1.25% 감소시켰다.

ABSTRACT

Face recognition achieves exceptional success thanks to the emergence of deep learning. However, many contemporary face recognition models still perform relatively poor in processing profile faces compared to frontal faces. A key reason is that the number of frontal and profile training faces are highly imbalanced - there are extensively more frontal training samples compared to profile ones. In addition, it is intrinsically hard to learn a deep representation that is geometrically invariant to large pose variations. In this study, we hypothesize that there is an inherent mapping between frontal and profile faces, and consequently, their discrepancy in the deep representation space can be bridged by an equivariant mapping. To exploit this mapping, we formulate a novel Deep Residual EquivAriant Mapping (DREAM) block, which is capable of adaptively adding residuals to the input deep representation to transform a profile face representation to a canonical pose that simplifies recognition. The DREAM block consistently enhances the performance of profile face recognition for many strong deep networks, including ResNet models, without deliberately augmenting training data of profile faces. The block is easy to use, light-weight, and can be implemented with a negligible computational overhead.

연구 동기 및 목표

• 딥 모델의 데이터 불균형과 기하학적 민감성으로 인해 전면 얼굴과 프로파일 얼굴 간의 인식 성능 격차를 해소하기 위해.
• 이미지 수준의 전면화 기법이 유발하는 잡음과 계산 부담을 극복하기 위해.
• 재학습이나 데이터 증강 없이도 기존 딥 네트워크를 보완할 수 있는 일반화 가능한 경량 모듈을 개발하기 위해.
• 딥 특징 공간에서 자세에 등가적인 변환을 학습하여 프로파일 얼굴의 효과적인 인식을 가능하게 하기 위해.
• 특징 공간 내 전면화가 자세에 강인한 인식에 있어 이미지 공간 내 전면화보다 더 효과적임을 입증하기 위해.

제안 방법

• 프로파일 표현을 정준 전면 자세로 변환하기 위해 입력 딥 특징에 잔차를 적응적으로 추가하는 게이트형 잔차 브랜치로 DREAM 블록을 제안한다.
• 입력 얼굴의 요 각도에 따라 잔차 크기를 동적으로 제어하는 소프트 게이트 메커니즘을 사용하여 극단적인 프로파일 얼굴에 더 많은 보정을 적용한다.
• 입력 특징 표현에 조건화된 학습 가능한 매핑(완전 연결 또는 1D 컨볼루션 레이어를 통해)을 설계하여 자세 기반 잔차를 생성한다.
• 전략적 위치(특히 특징 레이어 이후)에 DREAM 블록을 기존 딥 네트워크(예: ResNet-18, ResNet-50)에 통합하여 최적의 성능을 달성한다.
• 백본 네트워크와 함께 엔드 투 엔드로 DREAM 블록을 훈련시켜 정체성과 자세 불변 표현 학습을 공동 최적화한다.
• 비선형 매핑을 사용한 소프트 게이트를 통해 고요각(>45°) 얼굴에 대해 보다 우선적으로 보정을 수행한다.

실험 결과

연구 질문

• RQ1 딥 특징 공간 내에서 학습 가능한 경량 모듈이 프로파일 얼굴과 전면 얼굴 간의 표현 격차를 효과적으로 메울 수 있는가?
• RQ2 잔차 매핑을 통한 특징 공간 변환은 인식 정확도와 강인성 측면에서 이미지 공간 전면화를 능가하는가?
• RQ3 소프트 게이트 메커니즘이 다양한 자세 각도, 특히 극단적인 프로파일에 영향을 미치는가?
• RQ4 DREAM 블록은 아키텍처 수정 없이 다양한 딥 네트워크 아키텍처에 일반적으로 적용될 수 있는가?
• RQ5 DREAM 블록은 훈련 중 추가 프로파일 얼굴 데이터 없이도 성능을 향상시킬 수 있는가?

주요 결과

• DREAM 블록은 기준 ResNet-18 대비 MS-Celeb-1M에서 등가오차율(EER)을 1.25% 감소시켜 8.45%의 EER를 달성했다.
• 소프트 게이트 메커니즘이 성능 향상에 기여한다: 항상 닫혀 있는 상태(즉, 적응적 제어 비활성화)로 설정하면 EER가 9.31%로 상승하여, 이는 메커니즘의 필수성을 입증한다.
• 비선형 소프트 게이트 매핑은 선형 매핑보다 성능이 뛰어나며, EER를 0.37% 감소시켜(8.82%에서 8.45%로) 고요각 얼굴 보정의 효과성을 확인한다.
• 특징 레이어 이후에 DREAM 블록을 삽입하는 것이 풀링 이후에 삽입하는 것보다 성능이 뛰어나며, EER는 각각 8.45%와 9.22%를 기록한다.
• DREAM 블록은 ResNet-18, ResNet-50, Center-Loss 모델 등 여러 아키텍처에서 일관되게 성능 향상을 보이며 일반화 능력을 입증한다.
• 이 방법은 어려운 전면-프로파일 비교, 특히 극단적인 요 각도 상황에서 임의의 양성 및 음성 결과를 줄이며, CFP 및 IJB-A 데이터셋에서 기준 모델을 능가한다.