[논문 리뷰] PoseFace: Pose-Invariant Features and Pose-Adaptive Loss for Face Recognition

Qiang Meng, Xiaqing Xu외 7명|arXiv (Cornell University)|2021. 07. 25.

Face recognition and analysis참고 문헌 54인용 수 23

한 줄 요약

PoseFace는 얼굴 랜드마크와 직교 특징 부분공간을 사용하여 신원 및 자세 특징을 분리하고, 데이터 불균형을 완화하기 위해 자세 적응형 손실을 도입한 자기지도 학습, 엔드 투 엔드 프레임워크를 제안한다. 이는 CFP에서 프로파일 얼굴 인식에서 인간 수준의 정확도를 달성하고, Multi-PIE, IJB-B, CPLFW에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Despite the great success achieved by deep learning methods in face recognition, severe performance drops are observed for large pose variations in unconstrained environments (e.g., in cases of surveillance and photo-tagging). To address it, current methods either deploy pose-specific models or frontalize faces by additional modules. Still, they ignore the fact that identity information should be consistent across poses and are not realizing the data imbalance between frontal and profile face images during training. In this paper, we propose an efficient PoseFace framework which utilizes the facial landmarks to disentangle the pose-invariant features and exploits a pose-adaptive loss to handle the imbalance issue adaptively. Extensive experimental results on the benchmarks of Multi-PIE, CFP, CPLFW and IJB have demonstrated the superiority of our method over the state-of-the-arts.

연구 동기 및 목표

• 큰 자세 변화 하에서의 얼굴 인식 성능 저하 문제를 해결하기 위해, 특히 제약 없는 환경에서의 성능 저하를 완화한다.
• 학습 데이터셋에서 정방향 및 프로파일 얼굴 이미지 간의 데이터 불균형 문제를 해결한다.
• 자세 전용 모델이나 얼굴 정면화 기법에 의존하지 않고 자세 불변 신원 특징을 학습한다.
• 새로운 손실 함수를 통해 어려운, 희귀한 프로파일 얼굴에 집중함으로써 학습 효율성과 인식 정확도를 향상시킨다.

제안 방법

• 얼굴 랜드마크를 사용하여 신원 및 자세 특징을 두 개의 직교 부분공간으로 분리한다.
• 사전 훈련된 오토인코더를 활용해 랜드마크에서 자세 특징 벡터를 생성하고, 이를 자세 특징에 대한 가짜 레이블로 활용한다.
• 매핑 함수에 선형성 및 직교 제약 조건을 도입하여 완전한 분리와 신원 정보가 자세 특징으로 泄漏되는 것을 방지한다.
• ArcFace 손실을 재가중하여 자세 적응형 손실을 도입함으로써 정면 얼굴에는 보다 낮은 페널티를, 프로파일 얼굴에는 더 높은 페널티를 적용한다.
• 신원 인식과 자세 분리의 공동 최적화를 통해 전체 네트워크를 엔드 투 엔드로 훈련한다.
• 직교 제약 조건을 통해 신원 특징가 자세 변화에 불변성을 확보함으로써 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 쌍으로 제공된 정면 및 프로파일 이미지가 없이도 자기지도 학습 및 엔드 투 엔드 방식으로 신원 및 자세 특징를 효과적으로 분리할 수 있는가?
• RQ2 학습 과정에서 정면과 프로파일 얼굴 간의 데이터 불균형 문제를 어떻게 완화할 수 있는가? 이를 통해 희귀한 큰 자세 샘플의 인식 성능을 향상시킬 수 있는가?
• RQ3 어려운 예외 샘플(예: 프로파일 얼굴)에 대해 적응형으로 페널티를 적용하는 손실 함수가 큰 자세 변화 벤치마크에서 모델 일반화 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법이 프로파일 얼굴 인식 작업에서 인간 수준의 성능을 달성할 수 있는가?
• RQ5 이 프레임워크는 ArcFace를 초월해 다른 손실 함수 및 메트릭 학습 목표로 확장 가능한가?

주요 결과

• Multi-PIE에서 90° 야와에서 PoseFace는 베이스라인 대비 상대적 6.51% 향상된 랭크-1 정확도를 기록하여 극단적인 자세 변화에 대한 강력한 내성성을 입증한다.
• 정면-프로파일 프로토콜을 사용한 CFP 벤치마크에서 PoseFace34는 94.84%의 정확도를 달성하여 인간 수준의 성능(94.57%)에 가까워졌고, 이는 이전 모든 방법을 초월한다.
• IJB-B 및 IJB-C에서 PoseFace50는 각각 TAR@FAR=1e-5에서 1.48% 및 1.04% 향상되어, 더 깊은 백본을 사용한 최신 기법들보다 뛰어난 성능을 보였다.
• PoseFace34는 CPLFW에서 88.65%의 정확도를 기록하여 ArcFace 베이스라인 대비 0.55% 향상되었으며, 이는 자연 환경에서의 인식 성능 효과성을 확인한다.
• 자세 적응형 손실은 어려운 프로파일 얼굴에 집중함으로써 훈련 과정에서의 수렴성과 성능 향상을 크게 향상시켰다.
• 자기 분리 메커니즘이 랜드마크 기반 분리로 인해 자세 관련 변형을 효과적으로 제거하면서도 신원 정보를 유지함을 아블레이션 연구를 통해 검증했다.