[논문 리뷰] Temporal Non-Volume Preserving Approach to Facial Age-Progression and Age-Invariant Face Recognition

Chi Nhan Duong, Kha Gia Quach외 3명|arXiv (Cornell University)|2017. 03. 24.

Face recognition and analysis참고 문헌 25인용 수 18

한 줄 요약

이 논문은 연속된 연령대 간의 단기적 비선형 변환으로서의 노화를 모델링하여 고품질의 얼굴 연령 진전과 연령에 영향을 받지 않는 얼굴 인식을 가능하게 하는 시간적 비체적 보존(Temporal Non-Volume Preserving, TNVP) 생성 확률 모델을 제안한다. 간편한 로그우도 추정과 잔차 컨볼루션 신경망을 결합함으로써, 재학습 없이도 얼굴 인식 정확도를 10–40% 향상시키며, 연령 진전 얼굴 합성 및 교차 연령 인식에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Modeling the long-term facial aging process is extremely challenging due to the presence of large and non-linear variations during the face development stages. In order to efficiently address the problem, this work first decomposes the aging process into multiple short-term stages. Then, a novel generative probabilistic model, named Temporal Non-Volume Preserving (TNVP) transformation, is presented to model the facial aging process at each stage. Unlike Generative Adversarial Networks (GANs), which requires an empirical balance threshold, and Restricted Boltzmann Machines (RBM), an intractable model, our proposed TNVP approach guarantees a tractable density function, exact inference and evaluation for embedding the feature transformations between faces in consecutive stages. Our model shows its advantages not only in capturing the non-linear age related variance in each stage but also producing a smooth synthesis in age progression across faces. Our approach can model any face in the wild provided with only four basic landmark points. Moreover, the structure can be transformed into a deep convolutional network while keeping the advantages of probabilistic models with tractable log-likelihood density estimation. Our method is evaluated in both terms of synthesizing age-progressed faces and cross-age face verification and consistently shows the state-of-the-art results in various face aging databases, i.e. FG-NET, MORPH, AginG Faces in the Wild (AGFW), and Cross-Age Celebrity Dataset (CACD). A large-scale face verification on Megaface challenge 1 is also performed to further show the advantages of our proposed approach.

연구 동기 및 목표

• 장기간에 걸친 비선형적이고 대규모의 얼굴 노화 변화에 도전하는 것.
• 가족 사진 자료나 복잡한 사전처리 없이도 부드럽고 고해상도의 연령 진전을 가능하게 하는 생성 모델을 개발하는 것.
• 정체성을 유지하는 현실적인 연령 진전 얼굴을 생성함으로써 교차 연령 얼굴 인식 성능을 향상시키는 것.
• 정확한 추론을 가능하게 하는 확률적 그래픽 모델의 장점과 비선형 특징 학습이 가능한 깊이 신경망의 장점을 융합하여 더 나은 노화 모델링을 하는 것.
• 단지 네 개의 랜드마크 점만을 사용하여 제약이 없는, 실외에서 찍힌 얼굴 이미지에 대해서도 강건한 성능을 보장하는 것.

제안 방법

• 장기적 얼굴 노화를 다룰 수 있도록 가능한 모델링을 위해 다수의 단기 단계로 분해하는 것.
• 정확한 밀도 추정이 가능한 유연한 유량 기반 생성 모델로서의 새로운 시간적 비체적 보존(TNVP) 변환을 제안하는 것.
• 복잡한 비선형 노화 특징을 모델링하기 위해 TNVP 아키텍처에 잔차 컨볼루션 신경망(ResNet) 블록을 통합하는 것.
• 연속된 연령대 간의 특징 변환을 정확하게 추론하고 평가하기 위해 로그우도 목적 함수를 사용하는 것.
• 부드러운 전이와 정체성 유지 보장을 위해 '기억' 기능으로서의 잠재 변수 연결을 도입하는 것.
• 엄격한 정렬이나 사전처리 없이도 실외에서 찍힌 얼굴에 대해 단지 네 개의 얼굴 랜드마크 점만을 사용하여 모델을 적용하는 것.

실험 결과

연구 질문

• RQ1 정확한 확률 모델이 다수의 단기 단계에서 비선형적 얼굴 노화 변화를 효과적으로 포착할 수 있는가?
• RQ2 제안된 TNVP 모델이 가족 사진 자료 없이도 고품질의 현실적인 연령 진전 얼굴을 생성할 수 있는가?
• RQ3 TNVP를 통한 연령 진전이 교차 연령 얼굴 인식 작업 성능을 향상시키는가?
• RQ4 로그우도, 추론, 합성 품질 측면에서 TNVP 모델은 GAN, RBM 및 기타 딥러닝 방법과 비교해 어떻게 성능을 내는가?
• RQ5 모델이 복잡한 정렬 없이도 제약이 없는 실외 얼굴 이미지에 일반화 가능한가?

주요 결과

• TNVP 모델은 FG-NET, MORPH, AGFW, CACD 등 다양한 벤치마크에서 얼굴 연령 진전 분야에서 최신 기술 수준의 성능을 달성했다.
• Megaface Challenge 1의 교차 연령 얼굴 인식에서, TNVP로 생성된 얼굴은 원본 Center Loss 모델의 랭크-1 정확도를 재학습 없이 9.0% 향상시켰다(38.79%에서 47.72%로).
• 소규모 프로토콜 하에서 FG-NET 데이터셋의 원본 얼굴 쌍에 비해 매칭 성능을 30% 향상시켰으며, IAAP 및 TRBM를 모두 능가했다.
• 단지 네 개의 랜드마크 점만을 사용하여도 실외 얼굴에 대해 강건한 성능를 보였으며, 복잡한 정렬이나 사전처리가 필요로 하지 않았다.
• GAN(대립적 훈련)이나 RBM(추정이 불가능한 분할 함수)와 달리, TNVP 모델은 정확한 로그우도 추정과 추론이 가능하다.
• TNVP 아키텍처에 잔차 블록을 사용함으로써 복잡한 비선형 노화 변환을 효과적으로 모델링하면서도 연령 단계 간 정체성을 유지하는 데 성공했다.