[논문 리뷰] Variational methods for Conditional Multimodal Learning: Generating Human Faces from Attributes.

Gaurav Pandey, Ambedkar Dukkipati|arXiv (Cornell University)|2016. 03. 06.

Face recognition and analysis인용 수 10

한 줄 요약

이 논문은 조건부 변분 추론을 통해 텍스트 속성 기술서로부터 포토 realism적인 인간 얼굴을 생성하는 조건부 다모달 오토인코더(CMMA)를 제안한다. 조건부 로그우도를 최대화함으로써, 속성의 잠재 공간을 공동 얼굴-속성 표현과 정렬시킴으로써, 이전의 딥 생성 모델보다 더 정확한 속성과 의미적으로 일관된 얼굴 생성을 가능하게 한다.

ABSTRACT

Prior to this decade, the field of computer vision was primarily focused around hand-crafted feature extraction methods used in conjunction with discriminative models for specific tasks such as object recognition, detection/localization, tracking etc. A generative image understanding was neither within reach nor the prime concern of the period. In this paper, we address the following problem: Given a description of a human face, can we generate the image corresponding to it? We frame this problem as a conditional modality learning problem and use variational methods for maximizing the corresponding conditional log-likelihood. The resultant deep model, which we refer to as conditional multimodal autoencoder (CMMA), forces the latent representation obtained from the attributes alone to be 'close' to the joint representation obtained from both face and attributes. We show that the faces generated from attributes using the proposed model, are qualitatively and quantitatively more representative of the attributes from which they were generated, than those obtained by other deep generative models. We also propose a secondary task, whereby the existing faces are modified by modifying the corresponding attributes. We observe that the modifications in face introduced by the proposed model are representative of the corresponding modifications in attributes. Hence, our proposed method solves the above mentioned problem.

연구 동기 및 목표

• 조건부 생성 프레임워크에서 텍스트 속성 기술서로부터 현실적인 인간 얼굴을 생성하는 문제를 해결하기 위해.
• 생성된 얼굴과 입력 속성 간의 정렬을 향상시켜 의미적 일관성을 확보하기 위해.
• 속성을 수정하고 해당하는 이미지 변화를 관찰함으로써 제어 가능한 얼굴 편집을 가능하게 하기 위해.
• 변분 추론이 얼굴 생성에서 복잡한 다모달 조건부 분포를 효과적으로 모델링할 수 있음을 보여주기 위해.
• 정성적 및 정량적 속성 충실도 측면에서 기존의 딥 생성 모델을 능가하기 위해.

제안 방법

• 모델은 얼굴 이미지와 그에 해당하는 속성으로부터 공동 잠재 표현을 학습하기 위해 조건부 변분 오토인코더(CVAE) 프레임워크를 사용한다.
• 잠재 코드가 속성만으로부터 유도된 것과 공동 얼굴-속성 잠재 코드와 가까워지도록 확률적 제약 조건을 도입하며, KL 발산 최소화를 통해 이를 구현한다.
• 에코더는 입력 속성과 이미지를 공통 잠재 공간으로 매핑하고, 디코더는 공동 잠재 표현에서 얼굴 이미지를 재구성한다.
• 모델은 속성이 주어진 얼굴 이미지의 조건부 로그우도를 최대화함으로써 엔드 투 엔드로 훈련된다.
• 보조 작업으로, 속성을 수정하여 편집된 얼굴 이미지를 생성함으로써 분리된 해석 가능한 제어 기능을 입증한다.
• 모델은 양방향 인코더 및 디코더에 깊은 신경망을 사용하며, 확률적 경사 하강 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 변분 추론이 속성 기술서를 기반으로 한 얼굴 이미지의 조건부 분포를 효과적으로 모델링할 수 있는가?
• RQ2 제안된 CMMA 모델이 기존의 딥 생성 모델보다 입력 속성에 더 충실한 얼굴을 생성하는가?
• RQ3 속성 조작을 통해 의미 있고 의미적으로 일관된 얼굴 편집을 모델이 가능하게 하는가?
• RQ4 잠재 공간이 정체성 및 외형 요소에서 속성을 얼마나 잘 분리하는가?
• RQ5 속성 전용 잠재 표현과 공동 잠재 표현 간의 정렬을 강제함으로써 조건부 생성 품질이 향상되는가?

주요 결과

• 제안된 CMMA 모델은 다른 딥 생성 모델에 비해 입력 속성에 더 정성적으로 충실한 얼굴을 생성한다.
• 정량적 평가 결과, 생성된 얼굴의 속성 충실도가 높은 것으로 확인되었지만, 제공된 텍스트에는 정확한 지표가 기재되어 있지 않다.
• 모델은 제어 가능한 얼굴 편집을 성공적으로 구현한다: 속성을 수정하면 생성된 얼굴에 의미적으로 의미 있는 변화가 발생한다.
• 변분 추론을 통해 학습된 잠재 공간은 속성과 얼굴 외형 간의 조건부 의존성을 효과적으로 포착한다.
• 정성적 비교를 통해, 현실적이고 속성에 일관된 얼굴을 생성하는 데서 기준 모델보다 우수한 성능을 보였다.
• 공동 잠재 표현은 속성 전용 생성이 진짜 얼굴-속성 분포에 가까워지도록 보장한다.