[논문 리뷰] Unsupervised Visual Attribute Transfer with Reconfigurable Generative Adversarial Networks

Taek‐Soo Kim, Byoungjip Kim외 2명|arXiv (Cornell University)|2017. 07. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 30

한 줄 요약

이 논문은 쌍화된 훈련 데이터가 없이 개체 수준의 속성 전이를 가능하게 하는 재구성 가능한 생성적 적대적 네트워크를 사용한 비지도 시각적 속성 전이 방법을 제안한다. 도메인 수준의 GAN 기반 이미지 번역과 백트랜스퍼, 속성 일致성 목적함수를 결합함으로써, 참조 이미지에서 특정 속성 세부 정보(예: 헤어 컬러, 번스, 미소)를 소스 이미지로 전이하면서 정체성과 대상 외 속성을 유지한다. 이는 단일 통합 프레임워크 내에서 강력하고 다중 전이, 재구성 가능한 속성 전이를 달성한다.

ABSTRACT

Learning to transfer visual attributes requires supervision dataset. Corresponding images with varying attribute values with the same identity are required for learning the transfer function. This largely limits their applications, because capturing them is often a difficult task. To address the issue, we propose an unsupervised method to learn to transfer visual attribute. The proposed method can learn the transfer function without any corresponding images. Inspecting visualization results from various unsupervised attribute transfer tasks, we verify the effectiveness of the proposed method.

연구 동기 및 목표

• 기존의 이미지-이미지 번역 방법이 쌍화된 훈련 데이터를 필요로 하고 개체 수준의 속성 전이를 수행할 수 없다는 한계를 해결하기 위해.
• 밀도 또는 쌍화된 애너테이션 없이 도메인 수준의 레이블(예: '번스가 있는', '블론드 헤어')만을 사용하여 비지도, 개체 수준의 시각적 속성 전이를 가능하게 하기 위해.
• 각 속성에 대해 별도의 모델을 훈련시킬 필요 없이 동시에 여러 속성을 전이할 수 있는 단일 재구성 가능한 모델을 개발하기 위해.
• 백트랜스퍼 및 속성 일치 목적함수를 도입하여 전이 과정에서 정체성과 비대상 속성을 유지하기 위해.

제안 방법

• 다양한 속성 전이 작업에 대해 동적으로 재구성 가능한 기능을 지원하는 재구성 가능한 GAN 아키텍처를 사용한다.
• 전이된 이미지가 대상 도메인의 실제 이미지와 구분되지 않도록 보장하기 위해 도메인 수준의 GAN 손실을 적용한다.
• 전이된 속성이 원본 소스 이미지로 다시 복원될 수 있도록 보장함으로써 정체성과 비대상 속성을 유지하는 백트랜스퍼 목적함수를 도입한다.
• 결과 이미지에서 속성을 다시 참조 이미지로 전이할 경우 원본 참조 이미지의 속성 세부 정보가 복원됨을 보장하기 위해 속성 일치 목적함수를 적용한다.
• 속성(예: 헤어 컬러, 번스, 미소)이 독립적인 고수준 특성으로 모델링되는 분리된 속성 공간을 사용한다.
• 비지도, 개체 수준의 전이를 가능하게 하기 위해 적대적, 사이클 일관성, 속성 일관성 손실의 조합을 사용하여 엔드 투 엔드로 프레임워크를 훈련한다.

실험 결과

연구 질문

• RQ1 쌍화된 훈련 데이터나 밀도 있는 속성 애너테이션 없이도 시각적 속성 전이를 달성할 수 있는가?
• RQ2 단일 모델이 정체성과 비대상 속성을 유지하면서 개체 수준의 속성 전이를 수행할 수 있는가?
• RQ3 단일 통합, 재구성 가능한 프레임워크 내에서 다중 속성 전이—동시에 여러 속성을 수정하는 것—을 지원할 수 있는가?
• RQ4 모델은 얼굴 속성, 물체 유형, 3D 물체 각도와 같은 다양한 속성 유형에 대해 얼마나 잘 일반화되는가?

주요 결과

• 모델은 쌍화된 이미지나 밀도 있는 애너테이션 없이도 도메인 수준의 레이블만을 사용하여 개체 수준의 시각적 속성 전이를 성공적으로 수행한다.
• t-SNE 시각화 결과, 학습된 속성 벡터(예: '번스', '미소', '헤어 컬러')가 잘 분리되어 있고 의미적으로 유의미하다는 것을 확인할 수 있다.
• 고품질의 도메인 수준 전이를 달성하여 헤어 컬러를 검정, 갈색, 블론드로 변경하거나, 얼굴에서 차량으로의 물체 유형 전이 시 올바른 자세각을 유지한다.
• 모델은 다중 속성 전이를 가능하게 하여 단일 프로퍼세스 내에서 동시에 여러 속성(예: 헤어 컬러와 미소)을 수정할 수 있다.
• 백트랜스퍼 및 속성 일치 목적함수 덕분에 정체성 유지와 속성 정확도가 크게 향상되었으며, 다양한 데이터셋에서의 정성적 결과로 이를 확인할 수 있다.
• 프레임워크는 CelebA, 3D 자동차 및 얼굴 데이터셋, 패션 속성 전이 작업 등 다양한 도메인에서 강건성을 보였다.