[논문 리뷰] A Generative 3D Facial Model by Adversarial Training.

Victoria Fernández Abrevaya, Adnane Boukhayma외 2명|arXiv (Cornell University)|2019. 02. 10.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 기하 구조 매핑 레이어를 통해 3D 생성자와 2D 판별자 간 연결된 3D 생성자와 2D 판별자를 사용한 적대적 훈련을 이용한 3D 얼굴 생성 모델을 제안한다. 이는 정체성과 표정을 더 잘 분리시키며, 더 다양한, 잡음 없는 얼굴을 생성할 수 있도록 한다. 이 방법은 표준 벤치마크에서 정체성-표정 분리와 샘플 다양성 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Data-driven generative 3D face models are used to compactly encode facial shape data into meaningful parametric representations. A desirable property of these models is their ability to effectively decouple natural sources of variation, in particular identity and expression. While factorized representations have been proposed for that purpose, they are still limited in the variability they can capture and may present modeling artifacts when applied to tasks such as expression transfer. In this work, we explore a new direction with Generative Adversarial Networks and show that they contribute to better face modeling performances, especially in decoupling natural factors, while also achieving more diverse samples. To train the model we introduce a novel architecture that combines a 3D generator with a 2D discriminator that leverages conventional CNNs, where the two components are bridged by a geometry mapping layer. We further present a training scheme, based on auxiliary classifiers, to explicitly disentangle identity and expression attributes. Through quantitative and qualitative results on standard face datasets, we illustrate the benefits of our model and demonstrate that it outperforms competing state of the art methods in terms of decoupling and diversity.

연구 동기 및 목표

• 데이터 기반 3D 얼굴 생성 모델을 개발하여 정체성과 표정 변형을 효과적으로 분리한다.
• 기존의 인과 모델에서의 한계, 예를 들어 모델링 잡음과 표현 전달의 제한된 다양성 문제를 해결한다.
• 적대적 훈련을 통해 3D 얼굴 생성의 샘플 다양성과 현실감을 향상시킨다.
• 정체성과 표정 속성의 명시적 분리를 위한 새로운 아키텍처와 훈련 방식을 도입한다.

제안 방법

• 3D 생성자는 잠재 코드에서 세부적인 3D 얼굴 메쉬를 생성하며, 현실적인 얼굴 기하학을 학습한다.
• 기존의 CNN으로 구현된 2D 판별자는 생성된 3D 얼굴에서 렌더링된 2D 이미지의 현실성 평가를 수행한다.
• 기하 구조 매핑 레이어는 3D 메쉬 좌표를 2D 이미지 공간으로 투영하여 생성자와 판별자 간의 피드백을 제공함으로써 3D 생성자와 2D 판별자를 연결한다.
• 최적화 과정에서 정체성과 표정 속성의 분리를 명시적으로 지도하기 위해 보조 분류기 기반의 훈련 체계를 도입한다.
• 적대적 훈련 프레임워크는 현실감과 분리도를 동시에 최적화하여 일반화 능력과 다양성을 향상시킨다.
• 모델은 표준 3D 얼굴 데이터셋을 기반으로 엔드 투 엔드로 훈련되어 의미 있는 인과 표현을 학습한다.

실험 결과

연구 질문

• RQ1 기존의 인과적 접근 방식과 비교해 볼 때, 적대적 훈련이 3D 얼굴 생성 모델에서 정체성과 표정의 분리도를 향상시키는가?
• RQ2 3D 생성자와 2D 판별자를 조합함으로써 3D 얼굴 합성의 현실감과 다양성이 어떻게 향상되는가?
• RQ3 기하 구조 매핑 레이어가 3D와 2D 공간 간의 훈련 안정성과 특징 정렬에 얼마나 기여하는가?
• RQ4 보조 분류기가 이러한 속성에 대한 명시적 지도 없이도 정체성과 표정의 분리를 효과적으로 이끌 수 있는가?
• RQ5 제안된 아키텍처는 기존 최신 기술 수준의 방법에 비해 분리도 품질과 샘플 다양성 측면에서 모두 슈퍼리어한 성능을 보이는가?

주요 결과

• 제안된 모델은 표준 벤치마크에서 경쟁 기술 대비 정체성과 표정 속성의 분리도가 뛰어나다.
• 모델은 특히 표현 전달 작업에서 더 다양한 3D 얼굴 샘플을 생성하며 잡음 요소가 적다.
• 정량적 평가 결과 정체성과 표정 분리도를 측정하는 지표에서 뚜렷한 향상이 확인되었다.
• CNN 기반 2D 판별자를 사용함으로써 순수 3D 기반 판별자보다 더 안정적이고 효과적인 적대적 훈련이 가능하다.
• 보조 분류기 기반 훈련 체계는 쌍으로 연결된 애너테이션 없이도 정체성과 표정의 분리를 성공적으로 이끌었다.
• 정성적 결과는 일관된 정체성과 제어 가능한 표정을 갖춘 현실적이고 고해상도의 3D 얼굴을 보여준다.