[논문 리뷰] Longitudinal Face Modeling via Temporal Deep Restricted Boltzmann Machines

Chi Nhan Duong, Khoa Luu외 2명|arXiv (Cornell University)|2016. 06. 07.

Face recognition and analysis참고 문헌 30인용 수 13

한 줄 요약

이 논문은 비선형 노화를 단기 변화의 시퀀스로 모델링함으로써 실제적인 연령 진전 얼굴을 합성하기 위해 시간적 딥 제한 버즈턴 머신(TDRBMs)을 사용하는 딥 생성 모델을 제안한다. 이 방법은 연령 추정, RBMs를 통한 주름 모델링, 기하학적 제약 조건을 통합하여 FG-NET, CACD, MORPH 및 새로운 대규모 데이터셋 AGFW를 포함한 여러 벤치마크에서 연령 진전과 역진행에 대해 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Modeling the face aging process is a challenging task due to large and non-linear variations present in different stages of face development. This paper presents a deep model approach for face age progression that can efficiently capture the non-linear aging process and automatically synthesize a series of age-progressed faces in various age ranges. In this approach, we first decompose the long-term age progress into a sequence of short-term changes and model it as a face sequence. The Temporal Deep Restricted Boltzmann Machines based age progression model together with the prototype faces are then constructed to learn the aging transformation between faces in the sequence. In addition, to enhance the wrinkles of faces in the later age ranges, the wrinkle models are further constructed using Restricted Boltzmann Machines to capture their variations in different facial regions. The geometry constraints are also taken into account in the last step for more consistent age-progressed results. The proposed approach is evaluated using various face aging databases, i.e. FG-NET, Cross-Age Celebrity Dataset (CACD) and MORPH, and our collected large-scale aging database named AginG Faces in the Wild (AGFW). In addition, when ground-truth age is not available for input image, our proposed system is able to automatically estimate the age of the input face before aging process is employed.

연구 동기 및 목표

• 제약 조건이 없는 환경에서 비선형적이고 대규모의 얼굴 노화 변화에 도전한다.
• 지표 연령 레이블이 필요 없이 얼굴 연령 진전을 위한 엔드 투 엔드 자동 시스템을 개발한다.
• 주름과 기하학적 형태 변화를 모델링하여 연령 진전된 얼굴의 현실감을 향상시킨다.
• 동일한 프레임워크 내에서 연령 역진행과 자동 연령 추정 기능을 보완적으로 제공한다.

제안 방법

• 시간적 의존성을 포착하기 위해 장기적 얼굴 노화를 단기 변환의 시퀀스로 모델링하기 위해 시간적 딥 제한 버즈턴 머신(TDRBMs)을 사용한다.
• 연속된 연령 단계 간의 노화 전이를 학습하기 위해 다중 노드 TDRBM 아키텍처를 구성한다.
• 노화 전환 과정을 안내하기 위해 연령 범위에 걸쳐 일련의 프로토타입 기준 얼굴을 통합한다.
• 더 높은 현실감을 위해 서로 다른 얼굴 부위의 주름 패턴을 모델링하고 향상시키기 위해 별도의 제한 버즈턴 머신(RBMs)을 사용한다.
• 얼굴 랜드마크에서 유도된 기하학적 제약 조건을 적용하여 다양한 연령대 간의 구조적 일관성을 유지한다.
• 입력 이미지의 연령을 레이블이 없을 경우 자동으로 예측하기 위해 3단계 연령 추정 시스템(3그룹 분류 + SVR)을 통합한다.

실험 결과

연구 질문

• RQ1 딥 확률 모델은 제약 조건이 없는 환경에서 종단간 얼굴 노화의 비선형적이고 복잡한 동역학을 효과적으로 포착할 수 있는가?
• RQ2 TDRBM 기반 프레임워크는 다양한 연령 범위와 인구 통계적 그룹에 걸쳐 실제적인 연령 진전된 얼굴을 얼마나 잘 합성할 수 있는가?
• RQ3 주름 모델링과 기하학적 제약 조건을 통합할 경우, 연령 진전된 얼굴의 감각적 품질과 일관성은 어느 정도 향상되는가?
• RQ4 제안된 시스템은 지표 연령 레이블에 의존하지 않고 정확한 연령 역진행과 자동 연령 추정을 수행할 수 있는가?
• RQ5 실제 세계의 대규모 노화 데이터베이스에서 최신 기술 수준의 방법들과 비교해 모델 성능은 어떻게 되는가?

주요 결과

• 제안된 모델은 FG-NET에서 자동 연령 추정에 대해 평균 절대 오차(MAE) 5.86년, MORPH에서는 4.84년을 기록하며, 합성된 얼굴에서도 최소한의 성능 저하를 보였다(MAE: FG-NET 5.96년, MORPH 5.17년).
• 모델이 생성한 연령 진전된 얼굴은 실제 지표 연령 레이블 얼굴과 유사한 연령 추정 MAE를 기록하여 정확한 목표 연령 일치를 보였다(예: FG-NET에서 5.96년 대비 실제 얼굴의 5.89년).
• 시스템은 성공적으로 연령 역진행을 수행하여 입력 이미지에서 타당하고 현실적인 더 어린 얼굴을 생성했으며, 다양한 데이터셋에서 결과가 시각적으로 일관되고 현실감 있었다.
• RBM 기반의 주름 모델링 통합이 얼굴 주름과 같은 세밀한 노화 세부 정보를 크게 향상시켜 특히 후기 연령대에서 두드러진 효과를 보였다.
• 모델은 AginG Faces in the Wild(AGFW)를 포함한 다양한 데이터셋으로 일반화가 잘 되었으며, 자세, 표정, 조명 변화에 대한 확장성과 강건성을 입증했다.
• 프레임워크는 완전히 자동으로 작동하여 입력 이미지의 수동 연령 레이블이 필요 없게 되어 실제 응용 분야에서의 실용성을 높였다.