[논문 리뷰] Look Across Elapse: Disentangled Representation Learning and Photorealistic Cross-Age Face Synthesis for Age-Invariant Face Recognition

Jian Zhao, Cheng Yu외 13명|arXiv (Cornell University)|2018. 09. 02.

Face recognition and analysis인용 수 11

한 줄 요약

이 논문은 연령에 영향을 받지 않는 얼굴 인식 성능을 향상시키기 위해 분리 표현 학습과 사실적인 교차 연령 얼굴 합성 기능을 동시에 수행하는 통합 딥러닝 모델인 Age-Invariant Model (AIM)을 제안한다. 새로운 아키텍처를 사용하여 분리 표현 학습 네트워크와 얼굴 합성 네트워크를 종단 간(end-to-end)으로 훈련함으로써, 짝지어진 훈련 데이터나 진짜 연령 레이블이 없이도 여러 벤치마크에서 최신 기술 수준의 성능을 달성한다. 특히 FG-NET에서 93.20%의 랭크-1 정확도를 기록했고, IJB-C에서 FAR=10⁻⁵일 때 TAR가 5.50% 향상되었다.

ABSTRACT

Despite the remarkable progress in face recognition related technologies, reliably recognizing faces across ages still remains a big challenge. The appearance of a human face changes substantially over time, resulting in significant intra-class variations. As opposed to current techniques for age-invariant face recognition, which either directly extract age-invariant features for recognition, or first synthesize a face that matches target age before feature extraction, we argue that it is more desirable to perform both tasks jointly so that they can leverage each other. To this end, we propose a deep Age-Invariant Model (AIM) for face recognition in the wild with three distinct novelties. First, AIM presents a novel unified deep architecture jointly performing cross-age face synthesis and recognition in a mutual boosting way. Second, AIM achieves continuous face rejuvenation/aging with remarkable photorealistic and identity-preserving properties, avoiding the requirement of paired data and the true age of testing samples. Third, we develop effective and novel training strategies for end-to-end learning the whole deep architecture, which generates powerful age-invariant face representations explicitly disentangled from the age variation. Moreover, we propose a new large-scale Cross-Age Face Recognition (CAFR) benchmark dataset to facilitate existing efforts and push the frontiers of age-invariant face recognition research. Extensive experiments on both our CAFR and several other cross-age datasets (MORPH, CACD and FG-NET) demonstrate the superiority of the proposed AIM model over the state-of-the-arts. Benchmarking our model on one of the most popular unconstrained face recognition datasets IJB-C additionally verifies the promising generalizability of AIM in recognizing faces in the wild.

연구 동기 및 목표

• 얼굴 외형이 시간이 지남에 따라 크게 변하는 실제 환경에서 연령에 영향을 받지 않는 얼굴 인식 문제를 해결하기 위해.
• 연령에 영향을 받지 않는 얼굴 표현을 함께 학습하고, 사실적인 연령 증가 또는 감소된 얼굴을 합성하여 상호로 인식 성능을 향상시키기 위해.
• 테스트 샘플에 대해 짝지어진 훈련 데이터나 진짜 연령 레이블에 의존하지 않도록 하기 위해.
• 미래의 교차 연령 얼굴 인식 연구를 지원하기 위해 대규모이고 다양한 특성을 가진 벤치마크 데이터셋(CAFR)을 개발하기 위해.
• 제약 조건이 없는 조건에서 연속적이고 신원을 유지하는 고해상도의 얼굴 재생 및 노화 시뮬레이션을 가능하게 하기 위해.

제안 방법

• 분리 표현 학습 네트워크(RLN)와 얼굴 합성 네트워크(FSN)를 종합적으로 통합한 딥 아키텍처를 설계하고 종단 간(end-to-end)으로 훈련한다.
• GAN 기반의 오토에인코드르 프레임워크를 활용하여 RLN이 적대적 훈련을 통해 신원 특징와 연령 특징를 분리한다.
• 짝지어진 데이터나 진짜 연령 레이블이 없이도 분리 표현 학습과 사실적인 얼굴 합성 기능을 동시에 최적화하는 새로운 훈련 전략을 도입한다.
• 신원 보존과 현실감 향상을 위해 적대적 손실, 재구성 손실, 신원 일致성 손실을 조합한 다중 작업 손실 함수를 사용한다.
• 조건부 GAN 설정을 활용하여 생성자가 잠재 표현을 기반으로 목표 연령의 얼굴을 합성하도록 학습한다.
• 모델의 강건성과 일반화 능력을 향상시키기 위해 새로 제안된 CAFR 데이터셋을 활용하여 데이터 증강 및 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 분리 표현 학습과 사실적인 교차 연령 얼굴 합성 기능을 동시에 학습함으로써 연령에 영향을 받지 않는 얼굴 인식 성능을 크게 향상시킬 수 있는가?
• RQ2 짝지어진 훈련 데이터나 진짜 연령 레이블이 없이도 통합 딥 모델이 고해상도의 얼굴 재생 및 노화 시뮬레이션을 성공적으로 수행할 수 있는가?
• RQ3 분리 표현 학습과 합성 구성 요소를 종단 간으로 훈련함으로써, 큰 연령 격차가 있는 상황에서도 인식 성능이 어떻게 향상되는가?
• RQ4 제안된 CAFR 벤치마크가 모델의 일반화 능력을 얼마나 향상시키고, 최신 기술 수준의 방법들 간의 공정한 비교를 얼마나 잘 지원하는가?
• RQ5 모델이 IJB-C와 같은 제약 조건이 없는 실외 환경에서의 얼굴 인식 시나리오에 효과적으로 일반화될 수 있는가?

주요 결과

• 제안된 AIM은 FG-NET 벤치마크에서 93.20%의 랭크-1 인식 정확도를 기록하여 이전 최고 성능보다 5.10% 포인트 높다.
• IJB-C 벤치마크에서 AIM은 FAR=10⁻⁵일 때 TAR가 0.826을 기록하여 두 번째로 좋은 방법보다 5.50% 포인트 높다.
• 제약 조건이 없는 데이터셋에서 강력한 일반화 능력을 보였으며, CAFR 데이터셋을 증강 훈련 데이터로 사용해 미세조정했을 때 0.38% 향상된 성능을 기록했다.
• 정성적 결과에서는 AIM이 자세, 표정, 가림 등의 도전적인 조건에서도 매우 사실적이고 신원을 유지하는 연령 증가 및 감소된 얼굴 결과를 생성함을 확인했다.
• AIM이 학습한 분리 표현은 다양한 연령 그룹 간 일관된 성능을 보이며, 연령 변화에 대해 명시적으로 불변임을 검증했다.
• 10,000명의 주체에서 10만 장의 이미지를 포함하고 있으며 광범위한 연령 범위와 다양한 민족적 배경을 가진 제안된 CAFR 데이터셋은 더 강력하고 일반화 능력 있는 훈련을 가능하게 한다.