[논문 리뷰] Face Aging with Contextual Generative Adversarial Nets

Si Liu, Yao Sun외 5명|arXiv (Cornell University)|2018. 02. 01.

Face recognition and analysis참고 문헌 34인용 수 3

한 줄 요약

이 논문은 인접한 연령대 간의 연령 전이 패턴을 명시적으로 모델링함으로써 얼굴 노화를 위한 컨텍스트 유도 생성 적대망(C-GANs)을 제안한다. 이 방법은 잔차 블록을 갖춘 조건부 변환 네트워크, 연령 식별 네트워크, 그리고 새로운 전이 패턴 식별 네트워크를 사용하여 현실적이고 신원을 유지하는 노화 결과를 생성하며, 시각적 품질과 연령 간 얼굴 인식 성능 모두에서 최신 기법들을 능가한다.

ABSTRACT

Face aging, which renders aging faces for an input face, has attracted extensive attention in the multimedia research. Recently, several conditional Generative Adversarial Nets (GANs) based methods have achieved great success. They can generate images fitting the real face distributions conditioned on each individual age group. However, these methods fail to capture the transition patterns, e.g., the gradual shape and texture changes between adjacent age groups. In this paper, we propose a novel Contextual Generative Adversarial Nets (C-GANs) to specifically take it into consideration. The C-GANs consists of a conditional transformation network and two discriminative networks. The conditional transformation network imitates the aging procedure with several specially designed residual blocks. The age discriminative network guides the synthesized face to fit the real conditional distribution. The transition pattern discriminative network is novel, aiming to distinguish the real transition patterns with the fake ones. It serves as an extra regularization term for the conditional transformation network, ensuring the generated image pairs to fit the corresponding real transition pattern distribution. Experimental results demonstrate the proposed framework produces appealing results by comparing with the state-of-the-art and ground truth. We also observe performance gain for cross-age face verification.

연구 동기 및 목표

• 기존의 GAN 기반 얼굴 노화 방법이 인접한 연령대 간의 순차적 노화 전이를 모델링하지 못하는 한계를 해결하기 위해.
• 고차원의 연령 간 상관관계를 명시적으로 모델링하여 노화 진행 중 신원 유지와 외관 일관성을 향상시키기 위해.
• 전이 패턴 정규화를 통합하여 생성된 노화 얼굴의 현실성을 향상시키기 위해.
• 더 정확한 연령 진행 이미지를 생성함으로써 연령 간 얼굴 인식 성능을 향상시키기 위해.
• 공개 코드 배포를 통해 재현 가능하고 엔드 투 엔드로 훈련 가능한 프레임워크를 제공하기 위해.

제안 방법

• 특히 설계된 잔차 블록을 갖춘 조건부 변환 네트워크를 활용하여 원본 얼굴에서 목표 연령대로의 매핑을 학습한다.
• 실제 각 연령대 집단의 분포와 일치하도록 생성된 얼굴을 보장하기 위해 연령 식별 네트워크를 사용한다.
• 실제 노화 전이(예: 형태와 텍스처 변화)를 가짜와 구분할 수 있도록 새로운 전이 패턴 식별 네트워크를 도입하며, 이는 정규화 항으로 작용한다.
• 전이 패턴 식별망이 생성 가능한 노화 시퀀스를 유도하도록, 적대적 손실을 사용해 엔드 투 엔드로 모델을 훈련한다.
• DCGAN 기반 아키텍처로 구성되어 있으며, 수정 없이 노화 진행과 회귀 모두를 지원한다.
• 정성 평가를 위해 생성된 얼굴를 실제 머리 이미지에 자연스럽게 통합하기 위해 그래프 컷과 포isson 블렌딩을 후처리로 적용한다.

실험 결과

연구 질문

• RQ1 인접한 연령대 간 전이 패턴을 모델링하면 생성된 노화 얼굴의 현실성과 신원 일관성이 향상되는가?
• RQ2 전용 전이 패턴 식별망을 포함할 경우 표준 GAN과 비교해 연령 진행 품질에 어떤 영향을 미치는가?
• RQ3 제안된 C-GANs가 얼마나 높은 수준의 연령 간 얼굴 인식 성능 향상에 기여하는가?
• RQ4 특히 어린이에서 노인으로의 다양한 연령 범위에 대해 모델이 얼마나 잘 일반화되는가?
• RQ5 이 방법은 실제로 생성된 얼굴와 구분이 불가능한 연령 진행 얼굴을 생성할 수 있는가?

주요 결과

• C-GANs 방법은 정성적 비교에서 생성된 얼굴가 실제 이미지와 거의 구분되지 않을 정도로 뛰어난 시각적 품질을 달성한다.
• 전이 패턴 식별 네트워크는 특히 얼굴 구조와 텍스처 변화의 진화를 유지하는 데 있어 연속된 연령 전이에서 성능 향상에 크게 기여한다.
• FGNET 데이터셋에서 C-GANs로 생성된 합성 쌍의 EER(등가 오류율)는 8.72%로, CAAE로 생성된 쌍의 11.05%와 원본 쌍의 17.41%를 모두 뛰어넘는다.
• 남성 및 여성 모두에서 우수한 성능를 보이며, 브래드 피트와 셰릴 템플의 영화 스타들에 대해서도 수십 년에 걸친 정확한 연령 진행을 시뮬레이션한다.
• 어린이에서 60세 이상으로의 노화는 외관 격차가 크기 때문에 성능가 약간 떨어지며, 극단적인 연령 전이에서의 향상 여지가 있음을 시사한다.
• 소스 코드를 배포하여 향후 연구를 지원하고 재현 가능성과 커뮤니티의 수용을 증진시킨다.