[논문 리뷰] Modelling of Facial Aging and Kinship: A Survey

Markos Georgopoulos, Yannis Panagakis외 1명|arXiv (Cornell University)|2018. 02. 13.

Face recognition and analysis참고 문헌 191인용 수 3

한 줄 요약

이 종합 검토는 노화 및 친족 관계에 대한 계산적 얼굴 모델링에 대해 포괄적인 리뷰를 제공하며, 데이터셋, 얼굴 표현 방식(기하학적, 수작업으로 설계된, 학습된), 평가 프로토콜 및 주요 결과를 분석한다. 이 리뷰는 실제 환경 조건에서 강건한 연령에 영향을 받지 않는 및 친족 기반 얼굴 분석을 위한 과제와 향후 방향을 규명한다.

ABSTRACT

Computational facial models that capture properties of facial cues related to aging and kinship increasingly attract the attention of the research community, enabling the development of reliable methods for age progression, age estimation, age-invariant facial characterization, and kinship verification from visual data. In this paper, we review recent advances in modelling of facial aging and kinship. In particular, we provide an up-to date, complete list of available annotated datasets and an in-depth analysis of geometric, hand-crafted, and learned facial representations that are used for facial aging and kinship characterization. Moreover, evaluation protocols and metrics are reviewed and notable experimental results for each surveyed task are analyzed. This survey allows us to identify challenges and discuss future research directions for the development of robust facial models in real-world conditions.

연구 동기 및 목표

• 얼굴 노화 및 친족 관계 연구를 위한 정규화된 데이터셋의 완전하고 최신의 목록을 제공하기 위해.
• 노화 및 친족 관계 모델링에 사용된 기하학적, 수작업으로 설계된, 학습된 얼굴 표현 방식을 분석하고 비교하기 위해.
• 노화 진행, 연령 추정, 친족 확인 작업 전반에 걸쳐 표준화된 평가 프로토콜 및 지표를 검토하기 위해.
• 주요 실험 결과를 통합하고 현재 방법의 성능 격차 및 한계를 규명하기 위해.
• 실제 응용에서 강건한 얼굴 모델링을 위한 개방된 과제를 부각하고 향후 연구 방향을 제안하기 위해.

제안 방법

• 2010년부터 현재까지 얼굴 노화 및 친족 관계 모델링에 관한 최근 문헌에 대한 체계적 검토를 수행하였다.
• 기하학적, 수작업으로 설계된, 딥 러닝 기반 특징으로 나누어 얼굴 표현 방식을 분류하고 분석하였다.
• 노화 및 친족 작업을 위한 공개된 정규화된 데이터셋을 수집하고 철저히 평가하였다.
• 표준 분할, 지표(예: 정확도, AUC) 및 벤치마크 결과를 포함한 평가 프로토콜을 통합하였다.
• 노화 진행, 연령 추정, 친족 확인 간의 성능을 교차 비교하였다.
• 보고 및 평가 방법에 대한 일관성 부족과 격차를 규명하였다.

실험 결과

연구 질문

• RQ1 얼굴 노화 및 친족 관계 모델링을 위한 가장 포괄적이고 최신의 정규화된 데이터셋은 무엇인가요?
• RQ2 노화 및 친족 관계 작업에서 기하학적, 수작업으로 설계된, 학습된 얼굴 표현 방식의 성능는 어떻게 비교되나요?
• RQ3 노화 진행, 연령 추정, 친족 확인 작업 전반에 걸쳐 사용되는 표준 평가 프로토콜 및 지표는 무엇인가요?
• RQ4 각 핵심 작업에 대해 문헌에서 보고된 최고의 성능 결과는 무엇인가요?
• RQ5 실제 환경에서 강건한 얼굴 모델 개발을 저해하는 지속적인 과제와 한계는 무엇인가요?

주요 결과

• 얼굴 노화 및 친족 관계를 위한 정규화된 데이터셋의 포괄적 목록이 정리되어 향후 벤치마크 작업에 중요한 자원이 된다.
• 학습된 표현 방식, 특히 딥 뉴럴 네트워크가 대부분의 노화 및 친족 관계 작업에서 수작업으로 설계된 표현 방식과 기하학적 특징보다 뛰어난 성능을 보였다.
• 평가 프로토콜과 지표에 큰 변동성이 존재하여 연구 간 직접 비교가 어려우며, 표준화의 필요성을 부각시킨다.
• 진전이 있었음에도 불구하고, 특히 극단적인 연령 차이와 비이상적인 촬영 조건에서 성능이 크게 떨어진다.
• 친족 확인은 여전히 먼 친척 관계나 큰 자세 및 조명 변화가 존재할 경우 어려움을 겪는다.
• 연령 추정 및 진행 모델은 정확도가 향상되었지만 여전히 20~30년 이상의 장기적 노화 패턴을 다루는 데 어려움을 겪는다.