[논문 리뷰] Longitudinal Face Aging in the Wild - Recent Deep Learning Approaches

Chi Nhan Duong, Khoa Luu외 2명|arXiv (Cornell University)|2018. 02. 23.

Face recognition and analysis참고 문헌 35인용 수 3

한 줄 요약

이 논문은 비제약적("in-the-wild") 환경에서 종단간 얼굴 노화를 위한 최근의 딥 러닝 기반 접근법을 검토한다. 주로 정규화 흐름(TNVP)과 주제 의존적 딥 노화 경로(SDAP)를 기반으로 한 딥 제너레이티브 모델(DGM)에 초점을 맞추며, 잠재 공간 모델링을 통해 비선형 노화 변환을 학습하는 엔드 투 엔드 학습 가능한 모델을 제안한다. 이는 최신 합성 품질을 달성하고, 기준 데이터셋에서 교차 연령 얼굴 인식 정확도를 최대 15% 향상시킨다.

ABSTRACT

Face Aging has raised considerable attentions and interest from the computer vision community in recent years. Numerous approaches ranging from purely image processing techniques to deep learning structures have been proposed in literature. In this paper, we aim to give a review of recent developments of modern deep learning based approaches, i.e. Deep Generative Models, for Face Aging task. Their structures, formulation, learning algorithms as well as synthesized results are also provided with systematic discussions. Moreover, the aging databases used in most methods to learn the aging process are also reviewed.

연구 동기 및 목표

• 비제약적 환경에서 종단간 얼굴 노화를 위한 최근의 딥 러닝 기반 접근법을 검토하고 체계화하는 것.
• 노화 진행에 적용된 딥 제너레이티브 모델(DGM)의 아키텍처, 수식 및 학습 메커니즘을 분석하는 것.
• 표준화된 노화 데이터베이스에서 최신 모델의 성능을 평가하고, 교차 연령 얼굴 인식에 미치는 영향을 분석하는 것.
• 대규모, in-the-wild 리소스로서의 AGFW 및 AGFW-v2 데이터셋을 소개하고 검증하는 것.

제안 방법

• 논문은 얼굴의 다양한 연령대에 해당하는 잠재 표현 간의 가역적, 이항 변환을 모델링하기 위해 Real-NVP(TNVP) 형태의 정규화 흐름(NF)을 활용한다.
• 순차적인 얼굴 이미지에서 개인별 노화 경로를 학습하기 위해, 역강화학습(IRL) 프레임워크 내에서 주제 의존적 노화 정책 네트워크를 도입한다.
• 나이 순서의 확률을 표현하기 위해 공동 에너지 기반 수식을 사용하여, 정확한 가능도 추정이 가능한 엔드 투 엔드 학습을 가능하게 한다.
• 정규화 흐름 아키텍처의 가역적 커파링 레이어를 통해 직접 가능도 로그를 최적화함으로써 고정된 재구성 손실을 피한다.
• SDAP 모델은 각 주제별로 노화 증분을 예측하는 정책 네트워크를 학습하여 장기적, 주제별로 특화된 노화 진행을 가능하게 한다.
• 잠재 공간 모델링을 통해 고해상도 얼굴 합성을 가능하게 하며, 대규모 in-the-wild 데이터베이스인 AGFW-v2에서 프레임워크를 학습한다.

실험 결과

연구 질문

• RQ1 딥 제너레이티브 모델은 어떻게 비제약적 환경에서 비선형적이고 주제별로 특화된 노화 과정을 효과적으로 모델링할 수 있는가?
• RQ2 기존의 오토인코더 기반 또는 GAN 기반 접근법에 비해 정규화 흐름(TNVP 등)을 사용할 경우, 아키텍처 및 학습 측면에서 어떤 핵심적인 장점이 있는가?
• RQ3 역강화학습을 통해 학습된 주제 의존적 노화 정책은 장기적 노화 진행과 교차 연령 인식에 얼마나 기여하는가?
• RQ4 현대적인 딥 제너레이티브 모델은 기존의 모델 기반 또는 재구성 기반 방법에 비해 합성 품질과 정확도 측면에서 어떻게 비교되는가?
• RQ5 기존의 노화 데이터베이스에는 어떤 한계가 있으며, 새로운 데이터셋인 AGFW-v2는 이를 어떻게 보완하는가?

주요 결과

• TNVP 기반 모델은 잠재 공간에서 가역적, 흐름 기반 변환을 학습함으로써 고해상도 얼굴 노화 합성을 달성하며, 정확한 가능도 계산과 함께 이미지 품질 향상을 이룬다.
• IRL과 주제별 노화 정책을 통합한 SDAP 모델은 노화 진행 합성과 교차 연령 얼굴 검증 정확도 측면에서 TNVP 및 기타 베이스라인 모델을 초월한다.
• Megaface 벤치마크에서 SDAP의 합성 노화 이미지를 사용함으로써, 기존 방법 대비 얼굴 인식 정확도가 최대 15% 향상되었다.
• AGFW 및 AGFW-v2 데이터셋은 11개 연령 그룹에 걸쳐 36,000개 이상의 in-the-wild 이미지를 포함하여, 노화 진행 모델의 학습 및 평가를 위한 대규모 공개 리소스를 제공한다.
• 제안된 모델들은 개인별로 특화된 노화 패tern에 대해 강건성을 보이며, 기존 방법에 비해 장기적인 진행 동안 얼굴 정체성을 더 잘 유지한다.
• 합성된 노화 얼굴을 얼굴 인식 파이프라인에 통합함으로써 교차 연령 검증 작업의 성능이 크게 향상되었으며, 이는 실세계 시스템에서 노화 진행 모델의 유용성을 검증한다.