[논문 리뷰] Personalized Age Progression with Aging Dictionary

Xiangbo Shu, Jinhui Tang외 3명|arXiv (Cornell University)|2015. 10. 22.

Face recognition and analysis참고 문헌 33인용 수 19

한 줄 요약

이 논문은 인접 연령대 간의 단기 얼굴 쌍을 활용하여 일반 노화 층(예: 주름)과 개인화된 층(예: 잔달개)으로 얼굴 노화를 분리하는 연령군별 특화 사전을 사용하는 개인 맞춤형 연령 진행 방법을 제안한다. 이 방법은 뛰어난 개인 맞춤형 노화 합성 성능를 달성하며, 등가 오류율을 최대 8.53%까지 감소시켜 교차 연령 얼굴 인식 성능을 향상시킨다.

ABSTRACT

In this paper, we aim to automatically render aging faces in a personalized way. Basically, a set of age-group specific dictionaries are learned, where the dictionary bases corresponding to the same index yet from different dictionaries form a particular aging process pattern cross different age groups, and a linear combination of these patterns expresses a particular personalized aging process. Moreover, two factors are taken into consideration in the dictionary learning process. First, beyond the aging dictionaries, each subject may have extra personalized facial characteristics, e.g. mole, which are invariant in the aging process. Second, it is challenging or even impossible to collect faces of all age groups for a particular subject, yet much easier and more practical to get face pairs from neighboring age groups. Thus a personality-aware coupled reconstruction loss is utilized to learn the dictionaries based on face pairs from neighboring age groups. Extensive experiments well demonstrate the advantages of our proposed solution over other state-of-the-arts in term of personalized aging progression, as well as the performance gain for cross-age face verification by synthesizing aging faces.

연구 동기 및 목표

• 기존 방법들이 자주 유지하지 못하는 개인화된 얼굴 특징(예: 잔달개)을 연령 진행 중에 유지하는 데 도전한다.
• 장기 노화 시퀀스가 필요로 하지 않고, 인접 연령대 간의 단기 얼굴 쌍(예: 11–15세에서 16–20세)으로부터 노화 패턴을 학습하는 방법을 개발한다.
• 주어진 입력 얼굴에서 미래 연령대까지 정확하고 단계적인 연령 진행을 가능하게 하며, 개인의 정체성을 유지한다.
• 제안된 방법을 사용해 현실적인 노화된 얼굴을 합성함으로써 교차 연령 얼굴 인식 성능을 향상시킨다.

제안 방법

• 각 얼굴을 노화 층(동적, 연령 관련 변화, 예: 주름)과 개인화된 층(정적, 변화하지 않는 특징, 예: 잔달개)으로 분해한다.
• 동일 인덱스의 사전 기저가 각 연령군 간에 하나의 노화 과정 패턴을 형성하도록 연령군별 특화 사전을 학습한다.
• 단지 인접 연령대의 얼굴 쌍만을 사용하여 모든 노화 사전을 동시에 훈련시키기 위해 성격 인식 쌍체 복원 손실을 사용한다.
• 노화 층을 노화 패턴의 선형 조합으로 표현하기 위해 희소 코딩을 적용하여 흐림과 중복을 최소화한다.
• 학습된 패턴에서 재구성된 노화 층과 변화하지 않는 개인화된 층을 조합하여 미래 연령의 얼굴을 합성한다.
• 합성된 노화된 얼굴의 현실성과 유용성을 평가하기 위해 딥 컨volution 신경망(DeepID2 기반)을 사용해 얼굴 인식을 수행한다.

실험 결과

연구 질문

• RQ1 개인 맞춤형 연령 진행 방법은 주름 외에도 잔달개나 피부병변과 같은 고유한 얼굴 특징을 노화 전이 과정 동안 유지할 수 있는가?
• RQ2 장기 시퀀스가 아닌 인접 연령대 간의 단기 얼굴 쌍만을 사용하여 노화 패턴을 효과적으로 모델링할 수 있는가?
• RQ3 최신 기술 대비 제안된 방법이 교차 연령 얼굴 인식 성능을 어느 정도 향상시키는가?
• RQ4 여러 노화 사전의 학습을 결합하기 위해 연령군 간 공통의 희소 표현을 사용할 수 있는가? 이는 개인의 정체성을 유지하는 데 기여하는가?
• RQ5 훈련 시 실제 레이블 대신 추정된 연령 레이블을 사용할 경우, 실세계 적용에서 더 현실적인 노화 합성 결과를 도출할 수 있는가?

주요 결과

• 제안된 방법은 추정된 연령 레이블을 사용할 경우 교차 연령 얼굴 인식의 등가 오류율(EER)을 8.53%로 감소시켜 기준 모델인 Original Pairs(14.89%)와 IAAP 방법(10.91%)을 초월한다.
• 추정된 연령 레이블을 사용할 경우 IAAP 방법 대비 EER에서 1.63% 향상되어 더 뛰어난 현실성과 일반화 능력을 입증한다.
• 검증 작업에서 더 낮은 EER를 기록함으로써 제안된 방법을 사용해 합성된 노화된 얼굴이 IAAP 방법에 비해 진짜 얼굴에 더 가까운 것으로 확인되었다.
• 성격 인식 쌍체 복원 손실 덕분에 단지 단기 얼굴 쌍만을 사용하여 노화 사전의 효과적인 동시 훈련이 가능해져 장기 시퀀스가 필요로 하지 않는다.
• 시각화 및 정량적 검증 결과를 통해 제안된 방법은 연령 진행 과정에서 잔달개와 같은 개인화된 얼굴 특징을 성공적으로 유지함을 입증하였다.
• 얼굴 특성 인식 시스템에서 추정된 성별 및 연령을 사용할 경우 실제 레이블을 사용하는 것보다 성능이 향상되어 실세계 입력 변동성에 대한 강건성을 보였다.