[논문 리뷰] Reconstruction-Based Disentanglement for Pose-invariant Face Recognition

Xi Peng, Yu Xiang외 3명|arXiv (Cornell University)|2017. 02. 10.

Face recognition and analysis인용 수 22

한 줄 요약

이 논문은 정방향 얼굴에서 다양한 자세 변형을 생성하고, 새로운 특징 재구성 메트릭 학습을 통해 신원과 자세 특징을 분리하는 복원 기반 분리 방법을 제안한다. 이 방법은 MultiPIE, 300WLP, CFP에서 큰 자세 변화가 있는 조건에서도 훈련 데이터에 광범위한 자세 데이터가 없더라도 인식 정확도를 2%에서 12% 향상시켜 최신 기술 수준을 달성한다.

ABSTRACT

Deep neural networks (DNNs) trained on large-scale datasets have recently achieved impressive improvements in face recognition. But a persistent challenge remains to develop methods capable of handling large pose variations that are relatively underrepresented in training data. This paper presents a method for learning a feature representation that is invariant to pose, without requiring extensive pose coverage in training data. We first propose to generate non-frontal views from a single frontal face, in order to increase the diversity of training data while preserving accurate facial details that are critical for identity discrimination. Our next contribution is to seek a rich embedding that encodes identity features, as well as non-identity ones such as pose and landmark locations. Finally, we propose a new feature reconstruction metric learning to explicitly disentangle identity and pose, by demanding alignment between the feature reconstructions through various combinations of identity and pose features, which is obtained from two images of the same subject. Experiments on both controlled and in-the-wild face datasets, such as MultiPIE, 300WLP and the profile view database CFP, show that our method consistently outperforms the state-of-the-art, especially on images with large head pose variations. Detail results and resource are referred to https://sites.google.com/site/xipengcshomepage/iccv2017

연구 동기 및 목표

• 훈련 데이터에 충분한 자세 다양성이 없을 때 큰 자세 변화가 있는 조건에서 얼굴 인식 문제를 해결하기 위해.
• 추론 시 자세 레이블이 필요 없이 학습된 특징 표현에서 신원과 자세 요소를 분리하기 위해.
• 통제된 환경에서 실외 환경으로의 도메인 이동이 있는 데이터셋 간의 일반화를 향상시키기 위해.
• 정방향 입력에서부터 실제적인 비정방향 얼굴 이미지를 생성하는 데이터 증강 전략을 개발하기 위해.

제안 방법

• 단일 정방향 얼굴 이미지에서 다양한 자세 변형을 합성하는 얼굴 생성 네트워크가 추가 레이블 없이 훈련 데이터를 풍부하게 한다.
• 신원 인식, 자세 추정, 특징점 위치 추정을 동시에 최적화하는 공동 학습 프레임워크를 통해 다중 요인 특징 임bedding을 학습한다.
• 자신의 신원 및 비신원 특징을 사용하여 기준 이미지를 재구성하는 자기 재구성 손실이 구조적 일관성을 유지한다.
• 기준 이미지의 비신원 특징과 프로브 이미지의 신원 특징을 조합하는 교차 재구성 손실이 다양한 자세 간의 신원 일관성을 강제한다.
• 복원 기반 메트릭 학습은 신원-자세 조합 간의 재구성 오차를 최소화하여 신원 및 자세 구성 요소를 명시적으로 분리한다.
• 신원 특징을 자세 변화에 강건하게 만들기 위해 재구성 손실을 정규화하는 시아모이 스타일 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 정방향 이미지에서의 얼굴 생성을 통한 데이터 증강이 자세에 관계없는 얼굴 인식의 일반화에 기여하는가?
• RQ2 신원, 자세, 특징점의 공동 학습이 분리된 특징 표현을 얼마나 효과적으로 생성하는가?
• RQ3 복원 기반 메트릭 학습이 신원과 자세를 분리하는 데 직접적인 거리 최소화보다 우수한가?
• RQ4 통제된 환경에서 실외 환경으로의 도메인 이동이 큰 데이터셋 간에서 모델이 일반화 가능한가?
• RQ5 훈련 데이터에 이러한 자세 변화가 없더라도 제안된 방법이 큰 자세 변화에 대해 강건한가?

주요 결과

• CFP 데이터셋에서 큰 자세 변화 조건에서 제안된 방법은 VGGFace 대비 12%의 정확도 향상을 달성한다.
• 300WLP 데이터셋에서 CASIA 및 MultiPIE로 훈련된 모델은 VGGFace 대비 7.2% 높은 정확도를 기록하여 강력한 일반화 능력을 보여준다.
• MSMT+SR 모델(재구성 정규화 포함)은 MultiPIE에서 VGGFace 대비 2.8% 향상되고 300WLP에서 6.6% 향상되어 다양한 도메인에서의 강건성을 확인한다.
• 교차 데이터베이스 평가에서는 일관된 성능 저하(예: 300WLP에서 7%)가 발생하지만, 기준 모델 대비 여전히 뚜렷한 성능 향상을 보이며 일반화 능력을 입증한다.
• 특히 큰 자세 변화 조건에서 MSMT 및 MSMT†와 같은 강력한 기준 모델보다도 성능이 뛰어나, 복원 기반 분리 기법의 효과성을 입증한다.
• N-pair 손실과 재구성 손실을 함께 사용할 경우 최고의 성능을 기록하며, 메트릭 학습이 직접적인 거리 최소화보다 분리에 더 효과적임을 보여준다.