[논문 리뷰] Adversarial Information Factorization

Antonia Creswell, Yumnah Mohamied외 2명|arXiv (Cornell University)|2017. 11. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 20

한 줄 요약

이 논문은 얼굴의 신원을 이진 속성(예: 미소 짓기)으로부터 분리하는 것을 목표로 하는 새로운 VAE-GAN 아키텍처인 정보 분해 조건부 VAE-GAN을 제안한다. 모델은 생성된 잠재 공간에서 속성 간 독립성을 확보하기 위해 적대적 훈련을 사용하며, 신원을 변경하지 않고도 정밀한 속성 편집이 가능하다. 또한 동일한 인코더 네트워크를 사용하여 얼굴 속성 분류에서 최고 성능을 달성했으며, 테스트 케이스의 90퍼센트 이상에서 속성을 성공적으로 편집했다.

ABSTRACT

We propose a novel generative model architecture designed to learn representations for images that factor out a single attribute from the rest of the representation. A single object may have many attributes which when altered do not change the identity of the object itself. Consider the human face; the identity of a particular person is independent of whether or not they happen to be wearing glasses. The attribute of wearing glasses can be changed without changing the identity of the person. However, the ability to manipulate and alter image attributes without altering the object identity is not a trivial task. Here, we are interested in learning a representation of the image that separates the identity of an object (such as a human face) from an attribute (such as 'wearing glasses'). We demonstrate the success of our factorization approach by using the learned representation to synthesize the same face with and without a chosen attribute. We refer to this specific synthesis process as image attribute manipulation. We further demonstrate that our model achieves competitive scores, with state of the art, on a facial attribute classification task.

연구 동기 및 목표

• 특정 이진 속성(예: 미소 짓기 또는 안경 쓰기)과 얼굴 신원을 분리하는 생성 모델을 개발하는 것.
• 오직 하나의 잠재 단위만 수정함으로써 객체의 신원을 변경하지 않고도 정밀한 이미지 속성 조작을 가능하게 하는 것.
• 동일한 인코더 네트워크를 사용하여 얼굴 속성 분류에서 최고 성능을 달성하는 것.
• 조건부 이미지 생성과 속성 편집 간의 차이를 명확히 하여, 기존의 카테고리 조건부 모델이 미세 조절 가능한 속성 제어에는 부적합하다는 점을 보여주는 것.
• 신원 표현에서 속성 정보를 명시적으로 분리하는 것이 효과적이고 안정적인 속성 편집을 위해 필수적이라는 것을 입증하는 것.

제안 방법

• 연결된 VAE-GAN 프레임워크를 사용하며, 연속적인 신원 벡터와 이진 속성 벡터로 구성된 분리된 잠재 공간을 갖는다.
• 속성 벡터에 대해 적대적 손실를 적용하여, 해당 벡터가 신원과 관련된 특징을 포함하지 않도록 보장한다.
• 신원 표현이 속성 벡터의 변화에 영향을 받지 않도록 유도하기 위해, 새로운 비용 함수를 사용해 인코더를 훈련한다.
• 분류기 헤드를 인코더에 통합하여 생성 및 속성 분류 모두에 대해 엔드 투 엔드 훈련을 가능하게 한다.
• 이미지 편집은 신원 벡터를 고정한 채로 이진 속성 단위를 0에서 1로, 또는 그 반대로 뒤집는 방식으로 수행된다.
• 모델은 재구성 기법을 사용해 후행 분포에서 샘플링하며, 이는 VAE 목표 함수의 미분 가능 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성 모델이 얼굴 신원과 이진 속성(예: 미소 짓기 또는 안경 쓰기)을 분리하는 분리된 잠재 표현을 학습할 수 있는가?
• RQ2 신원 표현에서 속성 정보를 분리함으로써, 기존의 조건부 GAN 또는 VAE에 비해 더 안정적이고 정확한 속성 편집이 가능한가?
• RQ3 분리된 표현 학습에 사용된 동일한 인코더가 얼굴 속성 분류에서 최고 성능을 달성할 수 있는가?
• RQ4 손실 함수의 개별 구성 요소가 속성 편집 및 분류 성능에 기여하는 방식은 어떠한가?
• RQ5 카테고리 조건부 이미지 생성과 속성 수준의 편집 간의 차이는 무엇이며, 왜 기존 모델들은 후자의 경우에 실패하는가?

주요 결과

• 모델은 테스트 케이스의 90퍼센트 이상에서 신원을 변경하지 않고도 미소 짓기와 같은 얼굴 속성을 성공적으로 편집했다.
• 모델은 얼굴 속성 분류에서 경쟁력 있고 최고 수준의 정확도를 달성했으며, 여러 속성에서 기존 모델을 능가했다.
• 제거 실험을 통해 제안된 손실 구성 요소가 분리 및 효과적인 속성 편집에 필수적이라는 것이 확인되었다.
• 모델은 신원과 속성 표현을 명시적으로 분리하지 않을 경우, 편집 과정에서 다른 속성에 뜻하지 않은 영향을 미칠 수 있음을 보여주었다.
• 쌍둥이 생성기 모델이 필요한 이미지-이미지 번역 모델에 비해 효율성이 뛰어나며, 각 도메인에 대해 쌍둥이 생성기를 필요로 하지 않는다.
• 기존의 반복적 또는 비미분 가능한 접근 방식과는 달리, 단일 단계의 엔드 투 엔드 편집이 가능하며, 잠재 코드의 하나의 이진 단지만 수정함으로써 속성 편집이 이루어진다.