[논문 리뷰] When Age-Invariant Face Recognition Meets Face Age Synthesis: A Multi-Task Learning Framework

Zhizhong Huang, Junping Zhang외 1명|arXiv (Cornell University)|2021. 03. 02.

Face recognition and analysis참고 문헌 57인용 수 6

한 줄 요약

이 논문은 주의 메커니즘과 연속적 도메인 적응을 사용하여 얼굴 특징을 분리된 정체성-관련 및 연령-관련 성분으로 분해함으로써 연령에 영향을 받지 않는 얼굴 인식(AIFR)과 얼굴 연령 합성(FAS)을 동시에 수행하는 멀티태스크 학습 프레임워크인 MTLFace를 제안한다. 이 방법은 AIFR 및 FAS 모두에서 최신 기술 수준(SOTA) 성능을 달성하며, 사진처럼 사실적인, 정체성을 유지하는 얼굴 합성과 다양한 벤치마크에서 향상된 인식 정확도를 제공한다.

ABSTRACT

To minimize the effects of age variation in face recognition, previous work either extracts identity-related discriminative features by minimizing the correlation between identity- and age-related features, called age-invariant face recognition (AIFR), or removes age variation by transforming the faces of different age groups into the same age group, called face age synthesis (FAS); however, the former lacks visual results for model interpretation while the latter suffers from artifacts compromising downstream recognition. Therefore, this paper proposes a unified, multi-task framework to jointly handle these two tasks, termed MTLFace, which can learn age-invariant identity-related representation while achieving pleasing face synthesis. Specifically, we first decompose the mixed face feature into two uncorrelated components -- identity- and age-related feature -- through an attention mechanism, and then decorrelate these two components using multi-task training and continuous domain adaption. In contrast to the conventional one-hot encoding that achieves group-level FAS, we propose a novel identity conditional module to achieve identity-level FAS, with a weight-sharing strategy to improve the age smoothness of synthesized faces. In addition, we collect and release a large cross-age face dataset with age and gender annotations to advance the development of the AIFR and FAS. Extensive experiments on five benchmark cross-age datasets demonstrate the superior performance of our proposed MTLFace over existing state-of-the-art methods for AIFR and FAS. We further validate MTLFace on two popular general face recognition datasets, showing competitive performance for face recognition in the wild. The source code and dataset are available at~\url{https://github.com/Hzzone/MTLFace}.

연구 동기 및 목표

• 기존 AIFR 및 FAS 방법의 한계를 해결하기 위해, 시각적 해석 가능성 부족이나 합성된 얼굴에서의 아티팩트 문제를 해결한다.
• 동시에 연령에 영향을 받지 않는 얼굴 인식과 고해상도 얼굴 연령 합성의 성능을 향상시키는 통합 프레임워크를 개발한다.
• 일반적인 one-hot 연령 인코딩에 의존하는 것이 아니라 개인별 노화 패턴을 모델링함으로써 정체성 수준의 얼굴 연령 합성을 가능하게 한다.
• 크로스-에이지 얼굴 데이터셋을 수집하고 공개하여 연구를 발전시킨다.
• 제안된 방법이 크로스-에이지 및 일반 얼굴 인식 벤치마크에서 일반화 능력을 보임을 입증한다.

제안 방법

• 프레임워크는 채널 및 공간 주의 메커니즘을 사용하여 혼합된 얼굴 특징을 정체성-관련 및 연령-관련 성분으로 분리하는 주의 기반 특징 분해(AF D) 모듈을 활용한다.
• 다중태스크 학습은 CosFace 손실을 사용한 얼굴 인식, 연령 추정, 기울기 반전 레이어 기반 도메인 적응을 통한 정체성 불변 표현 학습을 함께 최적화한다.
• 새로운 정체성 조건부 모듈(ICM)은 정체성 전용 임bedding을 조건으로 설정함으로써 정체성 수준의 얼굴 연령 합성을 가능하게 하며, 가중치 공유를 통해 연령에 따른 부드러운 전환을 보장한다.
• 연속적 도메인 적응은 기울기 반전 레이어를 사용하여 소스 및 타겟 연령 그룹 간의 도메인 차이를 최소화함으로써 연령에 영향을 받지 않는 특징을 촉진한다.
• 모델은 연령 및 성별 레이블이 부여된 새로 수집한 대규모 크로스-에이지 데이터셋(SCAF)에서 엔드 투 엔드로 훈련된다.
• 이 프레임워크는 연령 진행 및 역진행 모두를 지원하며, 정체성을 유지하고 자연스러운 노화 세부 정보를 갖춘 사진처럼 사실적인 얼굴을 생성한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크가 연령에 영향을 받지 않는 얼굴 인식과 고품질 얼굴 연령 합성을 효과적으로 통합할 수 있는가?
• RQ2 공유된 표현 공간에서 정체성-관련 및 연령-관련 특징을 효과적으로 분리할 수 있는가?
• RQ3 정체성 조건부 모듈에 의해 가능해지는 정체성 수준의 얼굴 연령 합성이 그룹 수준의 접근 방식보다 더 자연스럽고 정체성을 유지하는 결과를 낳는가?
• RQ4 도메인 적응을 통한 다중태스크 학습이 다양한 크로스-에이지 얼굴 인식 데이터셋에서 일반화 능력을 향상시킬 수 있는가?
• RQ5 제안된 방법이 야외 환경의 일반 얼굴 인식 작업으로까지 얼마나 잘 일반화되는가?

주요 결과

• MTLFace는 다섯 개인 벤치마크 크로스-에이지 얼굴 인식 데이터셋에서 최신 기술 수준 성능를 달성하며, 기존 SOTA 방법보다 검증 정확도에서 뛰어난 성능을 보였다.
• 제거 분석 결과, 공동 다중태스크 학습과 함께 제안된 주의 기반 특징 분해(AF D)가 기준 및 단일태스크 변형 대비 AIFR 성능을 크게 향상시킴을 확인하였다.
• 기울기 반전을 통한 연속적 크로스-에이지 도메인 적응의 포함으로 모든 데이터셋에서 일관된 성능 향상이 관찰되었다.
• 정성적 결과에서는 MTLFace가 사진처럼 사실적인, 정체성을 유지하는 얼굴을 자연스러운 노화 세부 정보와 함께 생성하며, CAAE 및 AIM보다 시각적 정밀도와 정체성 유지도에서 뛰어난 성능을 보였다.
• 일반 얼굴 인식 벤치마크(LFW 및 MegaFace 1-Facescrub)에서도 MTLFace는 경쟁 가능한 성능를 기록하여 강력한 일반화 능력을 입증하였다.
• 제안된 SCAF 데이터셋은 연령 및 성별 레이블이 포함되어 있어 크로스-에이지 얼굴 인식 및 합성 작업의 더 견고한 훈련과 평가를 가능하게 하였다.