[논문 리뷰] AttGAN: Facial Attribute Editing by Only Changing What You Want

Zhenliang He, Wangmeng Zuo외 3명|arXiv (Cornell University)|2017. 11. 29.

Generative Adversarial Networks and Image Synthesis인용 수 41

한 줄 요약

AttGAN은 생성된 이미지에 대한 속성 분류를 통해 잠재 표현을 제약하지 않고도 유저가 원하는 속성만 변경하는 새로운 얼굴 속성 편집 프레임워크를 제안한다. 속성 분류, 재구성 손실, 적대적 학습을 결합함으로써 AttGAN은 CelebA 데이터셋에서 높은 정밀도의 세부 사항 유지와 뛰어난 시각적 품질을 달성한 최신 기술 수준의 성능을 보여준다.

ABSTRACT

Facial attribute editing aims to manipulate single or multiple attributes of a face image, i.e., to generate a new face with desired attributes while preserving other details. Recently, generative adversarial net (GAN) and encoder-decoder architecture are usually incorporated to handle this task with promising results. Based on the encoder-decoder architecture, facial attribute editing is achieved by decoding the latent representation of the given face conditioned on the desired attributes. Some existing methods attempt to establish an attribute-independent latent representation for further attribute editing. However, such attribute-independent constraint on the latent representation is excessive because it restricts the capacity of the latent representation and may result in information loss, leading to over-smooth and distorted generation. Instead of imposing constraints on the latent representation, in this work we apply an attribute classification constraint to the generated image to just guarantee the correct change of desired attributes, i.e., to "change what you want". Meanwhile, the reconstruction learning is introduced to preserve attribute-excluding details, in other words, to "only change what you want". Besides, the adversarial learning is employed for visually realistic editing. These three components cooperate with each other forming an effective framework for high quality facial attribute editing, referred as AttGAN. Furthermore, our method is also directly applicable for attribute intensity control and can be naturally extended for attribute style manipulation. Experiments on CelebA dataset show that our method outperforms the state-of-the-arts on realistic attribute editing with facial details well preserved.

연구 동기 및 목표

• 기존 방법들이 잠재 표현에 대해 속성에 독립적인 제약을 가하는 데서 비롯되는 한계를 해결하고자 하며, 이는 표현 능력의 제한과 정보 손실을 초래한다.
• 유저가 원하는 속성만 수정하면서도 나머지 얼굴 세부 사항(정체성, 조명, 배경 등)을 그대로 유지하는 얼굴 속성 편집 방법을 개발하고자 한다.
• 속성 분류, 재구성, 적대적 학습의 세 가지 상호보완적인 학습 요소를 통합하여 편집 품질과 현실감을 향상시키고자 한다.
• 직접적인 속성 강도 제어 적용과 함께 속성 스타일 조작으로의 자연스러운 확장이 가능하도록 하고자 한다.

제안 방법

• 이 방법은 인코더-디코더 아키텍처를 사용하며, 인코더는 얼굴 이미지를 잠재 코드로 매핑하고, 디코더는 잠재 코드와 원하는 속성에 조건부로 새로운 이미지를 생성한다.
• 생성된 이미지에 속성 분류 헤드를 적용하여 올바른 속성 조작을 강제함으로써 '원하는 것을 바꾸라'는 원칙을 구현한다.
• 입력 이미지와 생성된 이미지 간의 재구성 손실을 적용하여 속성 외 세부 사항을 유지함으로써 '원하는 것만 바꾸라'는 원칙을 강화한다.
• 적대적 학습을 통해 생성된 이미지의 시각적 현실감을 향상시켜 인지적 품질을 개선한다.
• 세 구성 요소인 속성 분류, 재구성, 적대적 학습이 통합된 프레임워크에서 공동 최적화된다.
• 모델은 세 구성 요소를 균형 있게 반영하는 복합 손실 함수를 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 잠재 표현에 속성에 독립적인 제약를 가함으로써 표현 능력이 제한되어 속성 편집 성능이 떨어지는가?
• RQ2 생성된 이미지에 속성을 분류하는 방식을 통해 잠재 표현을 제약 없이도 정확한 속성 편집을 달성할 수 있는가?
• RQ3 속성 분류, 재구성, 적대적 학습의 조합이 편집 중 얼굴 정체성과 세부 사항을 얼마나 잘 유지하는가?
• RQ4 제안된 방법은 직접적으로 속성 강도 제어에 적용 가능하며, 속성 스타일 조작으로의 확장도 가능한가?

주요 결과

• AttGAN은 CelebA 데이터셋에서 편집 정확도, 시각적 품질, 속성 외 세부 사항 유지 측면에서 최신 기술 수준의 방법들을 능가한다.
• 제거 실험 결과, 속성 분류, 재구성, 적대적 손실 중 어느 하나라도 제거할 경우 성능이 심각하게 악화되어 세 요소의 필수성을 확인한다.
• 재구성 손실은 정체성 유지와 아티팩트 최소화에 핵심적인 역할을 하며, 이 없이선 얼굴 정체성이 크게 변화하고 아티팩트가 나타난다.
• Fader Networks와 IcGAN에서 사용된 속성에 독립적인 제약은 정보 손실을 초래하고 결과 품질을 떨어뜨려 고품질 편집에 부적합함을 입증한다.
• 기준 모델 대비 더 높은 편집 정확도와 낮은 편집 오차를 기록하며, 특히 비대상 속성의 유지 측면에서 뛰어난 성능을 보인다.
• 이 방법은 속성 강도 제어에 직접 적용 가능하며, 속성 스타일 조작으로의 확장 가능성은 있으나, 매우 다양한 스타일(예: 그림)에서는 성능이 제한됨을 보였다.