[논문 리뷰] Fader Networks: Manipulating Images by Sliding Attributes

Guillaume Lample, Neil Zeghidour외 4명|arXiv (Cornell University)|2017. 06. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 278

한 줄 요약

Fader Networks는 잠재 표현에서 적대적 학습을 통해 속성-불변 잠재 공간을 학습하고, 디코더에 서로 다른 속성 값을 입력하여 연속적인 속성 제어 이미지 편집을 가능하게 한다.

ABSTRACT

This paper introduces a new encoder-decoder architecture that is trained to reconstruct images by disentangling the salient information of the image and the values of attributes directly in the latent space. As a result, after training, our model can generate different realistic versions of an input image by varying the attribute values. By using continuous attribute values, we can choose how much a specific attribute is perceivable in the generated image. This property could allow for applications where users can modify an image using sliding knobs, like faders on a mixing console, to change the facial expression of a portrait, or to update the color of some objects. Compared to the state-of-the-art which mostly relies on training adversarial networks in pixel space by altering attribute values at train time, our approach results in much simpler training schemes and nicely scales to multiple attributes. We present evidence that our model can significantly change the perceived value of the attributes while preserving the naturalness of images.

연구 동기 및 목표

• 쌍대 변환 예제가 없는 상태에서 속성 값을 변화시켜 이미지를 조작하기 위한 방법을 제시하고 정의한다.
• 잠재 공간에서 중요한 이미지 정보를 속성 값으로부터 분리하여 제어 가능한 생성을 가능하게 한다.
• 잠재 공간에서 속성 불변성을 적대적으로 강제하는 인코더–디코더 아키텍처를 개발한다.
• 다수의 속성 편집에 대해 스케일 가능하고 재구성 품질이 픽셀-스페이스 적대 방법보다 높은 것을 시연한다.

제안 방법

• 입력 이미지 x를 인코더 E(theta_enc)을 사용하여 잠재 표현 z로 인코딩한다.
• 재구성된 이미지를 D(theta_dec)(z, y')를 이용해 디코드하는데, y'는 목표 속성 벡터이다.
• E(x)에서 y를 예측하려는 판별기와의 적대적 학습으로 z의 속성-불변성을 강제한다.
• 재구성 손실 L_AE = x와 D(E(x), y) 간의 평균 제곱 오차를 최소화하여 충실한 재구성을 보장한다.
• 판별기를 속이도록 인코더를 학습시키되 재구성도 정확히 가능하도록 하여 y에 불변하지만 y를 통한 재구성에는 정보가 있는 잠재 공간을 만든다.

실험 결과

연구 질문

• RQ1 지정된 속성에 대해 불변 잠재 표현을 학습하면서도 여전히 정확한 이미지 재구성 및 속성 제어 가능한 생성을 가능하게 할 수 있는가?
• RQ2 추론 시 연속적인 속성 값이 아이덴티티와 이미지 품질을 보존하는 현실적이고 자연스러운 편집을 낳는가?
• RQ3 다중 속성 편집에 대해 이 잠재 공간 적대적 접근이 픽셀-스페이스 적대 방법과 어떻게 비교되는가?
• RQ4 다중 속성 및 고해상도 이미지로의 확장 가능성이 있는가?

주요 결과

• 모델은 속성을 교환하지 않고 고품질의 자연스러운 재구성(FadNet AE)을 생성하며 픽셀-스페이스 적대적 기준선에 비해 자연스러움과 교환 정확도 측면에서 우수하다.
• FadNet Swap은 여러 속성(예: Mouth, Glasses, Smile)에서 높은 속성 교환 정확도를 달성하며 IcGAN Swap보다 지각적 실현감이 현저히 우수하다.
• 잠재 공간은 속성에 대해 불변으로 바뀌어, 디코딩 시 y'를 변화시키면서도 아이덴티티를 유지한 채 제어 편집이 가능하다.
• 이 방법은 다중 속성 편집을 지원하고 고해상도 이미지로 확장 가능하며 재구성과 편집 품질 면에서 다수의 픽셀-스페이스 적대 방법을 능가한다.
• 정량적 인간 평가에서 Fader Networks가 여러 속성에서 자연스러움과 교환 효율성에서 기준선보다 우수하다고 나타난다.