[논문 리뷰] Learning Cross-Domain Disentangled Deep Representation with Supervision from A Single Domain.

Tzu-Chien Fu, Yen‐Cheng Liu외 3명|arXiv (Cornell University)|2017. 05. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 10

한 줄 요약

이 논문은 단일 소스 도메인의 속성 수준의 지도로부터만 학습하는 GAN 기반의 딥 생성 모델을 제안한다. 이 모델은 특성의 분리와 무 supervision 도메인 적응을 동시에 수행함으로써, 타겟 도메인의 레이블 없이도 특정 속성을 가진 이미지를 생성하고 분류할 수 있다.

ABSTRACT

The recent progress and development of deep generative models have led to remark- able improvements in research topics in computer vision and machine learning. In this paper, we address the task of cross-domain feature disentanglement. We advance the idea of unsupervised domain adaptation and propose to perform joint feature disentanglement and adaptation. Based on generative adversarial networks, we present a novel deep learning architecture with disentanglement ability, which observes cross-domain image data and derives latent features with the underly- ing factors (e.g., attributes). As a result, our generative model is able to address cross-domain feature disentanglement with only the (attribute) supervision from the source-domain data (not the target-domain ones). In the experiments, we apply our model for generating and classifying images with particular attributes, and show that satisfactory results can be produced.

연구 동기 및 목표

• 타겟 도메인 레이블 없이 교차 도메인 특성의 분리 문제를 해결한다.
• 분리 기법을 학습 과정에 통합하여 무 supervision 도메인 적응을 향상시킨다.
• 소스 도메인 지도만을 사용하여 특정 속성을 가진 이미지의 생성 및 분류를 교차 도메인에서 가능하게 한다.
• 교차 도메인 이미지 데이터에서 잠재된 요소(예: 속성)를 분리하는 딥 생성 아키텍처를 개발한다.

제안 방법

• 분리와 도메인 적응을 동시에 최적화하는 생성 적대 기반 네트워크(GAN) 프레임워크를 설계한다.
• 소스 도메인의 속성 수준 지도만을 사용하여 분리된 잠재 요소의 학습을 유도한다.
• 이미지 특징을 도메인 불변 및 도메인 특화 요소로 분해함으로써 분리된 표현을 학습한다.
• 특성 의미를 유지하기 위해 적대적 손실과 재구성 손실을 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 잠재 공간에서 잠재된 속성의 분리를 장려하기 위해 분리 손실을 적용한다.
• 분리된 표현을 활용하여 타겟 도메인에서 생성 및 분류를 수행함으로써 제로샷 속성 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 소스 도메인 속성 지도만을 사용하여 도메인 간 분리된 표현을 학습할 수 있는가?
• RQ2 타겟 도메인의 레이블 없이도 타겟 도메인에서 특정 속성을 가진 이미지를 얼마나 잘 생성할 수 있는가?
• RQ3 분리된 표현이 타겟 도메인에서 미리보지 않은 속성의 분류 성능에 얼마나 기여하는가?
• RQ4 분리와 적응을 동시에 수행하는 메커니즘이 도메인 특화된 특징을 정렬하면서도 속성 의미를 유지하는 데 얼마나 효과적인가?

주요 결과

• 모델은 소스 도메인 속성 애너테이션만을 사용하여 도메인 간 분리된 표현을 성공적으로 학습한다.
• 모델은 타겟 도메인 지도 없이도 타겟 도메인에서 특정 속성을 가진 이미지를 강력한 성능으로 생성한다.
• 분리된 표현은 타겟 도메인에서 제로샷 속성 분류를 정확하게 가능하게 한다.
• 기본 모델 대비 일반화 및 속성 전이 성능을 향상시키기 위해 분리와 적응을 통합한 프레임워크가 효과적이다.