[논문 리뷰] Differential Generative Adversarial Networks: Synthesizing Non-linear Facial Variations with Limited Number of Training Data

Geonmo Gu, Seong Tae Kim외 3명|arXiv (Cornell University)|2017. 11. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 10

한 줄 요약

이 논문은 제한된 훈련 데이터로도 사진처럼 생긴 얼굴 변형(예: 표정, 자세, 조명)을 합성할 수 있는 새로운 GAN 아키텍처인 미분 생성 적대망(D-GAN)을 제안한다. 표준 판별자와 새로운 미분 판별자를 사용함으로써 D-GAN은 얼굴의 다양성을 효과적으로 근사하여 부드럽고 제어 가능한 합성을 가능하게 하며, 선형 증강 대비 얼굴 표정 분류기 정확도를 5.8% 향상시킨다.

ABSTRACT

In face-related applications with a public available dataset, synthesizing non-linear facial variations (e.g., facial expression, head-pose, illumination, etc.) through a generative model is helpful in addressing the lack of training data. In reality, however, there is insufficient data to even train the generative model for face synthesis. In this paper, we propose Differential Generative Adversarial Networks (D-GAN) that can perform photo-realistic face synthesis even when training data is small. Two discriminators are devised to ensure the generator to approximate a face manifold, which can express face changes as it wants. Experimental results demonstrate that the proposed method is robust to the amount of training data and synthesized images are useful to improve the performance of a face expression classifier.

연구 동기 및 목표

• 제한된 훈련 데이터로 인해 어려움을 겪는 얼굴 관련 딥러닝 응용 분야, 특히 표정, 자세, 조명과 같은 비선형 변형에 대응하기 위해.
• 얼굴 특성 간 부드럽고 제어 가능한 전환을 가능하게 하는 사진처럼 생긴 얼굴 이미지를 합성할 수 있는 생성 모델을 개발하기 위해.
• 비선형이며 다양체 인식 기반의 합성을 통해 얼굴 표정 인식에 효과적인 데이터 증강을 가능하게 하기 위해.
• 단일 훈련 프로세스로 종합적으로 훈련하여 자료 부족 조건에서도 복잡한 훈련 전략이 필요 없도록 하기 위해.

제안 방법

• 제안된 D-GAN은 원본 이미지와 목표 레이블(예: 표정 또는 자세)을 입력으로 받아 합성된 얼굴 이미지를 생성하는 생성자 사용.
• 표준 판별자는 생성된 이미지가 실제 이미지와 구별되는지 확인함으로써 생성 이미지의 사진적 사실성 확보.
• 미분 판별자는 입력 이미지와 생성된 이미지 간의 차이 이미지를 평가하여 얼굴 변화에 집중.
• 미분 판별자는 생성자에게 다양체 상에서 얼굴 변화의 정확한 방향을 학습하도록 유도하여 구조적 일致성 향상.
• 두 판별자를 포함한 최소 최대 게임을 통해 생성자를 훈련함으로써 현실성과 정확한 얼굴 변형 최적화.
• 단일 최적화 프로세스로 종합적으로 훈련하여 복잡한 훈련 스케줄링이나 하이퍼파라미터 튜닝이 필요 없음.

실험 결과

연구 질문

• RQ1 소수의 훈련 이미지만 존재할 때 GAN 기반 모델이 비선형 얼굴 변형(예: 표정, 자세, 조명)을 효과적으로 합성할 수 있는가?
• RQ2 미분 판별자를 사용할 경우 표준 GAN에 비해 얼굴 이미지 합성의 품질과 제어 가능성은 어떻게 향상되는가?
• RQ3 제안된 D-GAN 모델은 새로운 조합의 얼굴 특성(예: 이전에 본 적 없는 자세와 함께 새로운 표정)에 일반화 가능한가?
• RQ4 D-GAN을 사용한 비선형 데이터 증강이 선형 증강 대비 얼굴 표정 분류기 성능 향상에 얼마나 기여하는가?

주요 결과

• 비선형 증강 데이터를 사용한 D-GAN은 얼굴 표정 인식 정확도 68.20%를 달성하여 선형 증강 대비 5.8% 향상된 62.40%를 기록.
• 제한된 훈련 데이터 조건에서도 고품질의 사진처럼 생긴 얼굴 이미지를 부드러운 얼굴 특성 전환과 함께 성공적으로 합성.
• 미분 판별자가 생성자에게 정확한 얼굴 변화를 학습할 수 있는 능력을 크게 향상시켜 자료 부족 조건에서 표준 판별자만을 사용한 모델보다 뛰어난 성능 보임.
• 새로운 조합의 특성, 예를 들어 관측되지 않은 머리 자세나 조명 조건과 함께 새로운 표정을 합성하는 데에도 일반화 성능을 보임.
• 최소한의 자료로도 비선형 얼굴 변형 합성 분야에서 최고 성능를 달성하며 강건성과 일반화 능력을 입증.
• 단일 최적화 프로세스로 종합적으로 훈련되었으며, 2,000장의 훈련 이미지 조차도 복잡한 훈련 전략 없이 안정적이고 효과적인 성능 기록.