[논문 리뷰] Cross-Domain Adversarial Auto-Encoder

Haodi Hou, Jing Huo외 1명|arXiv (Cornell University)|2018. 04. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 3

한 줄 요약

이 논문은 공유된 컨텐츠 잠재공간과 별도의 스타일 잠재공간에서 컨텐츠와 스타일을 분리하는 프레임워크인 Cross-Domain Adversarial Auto-Encoder (CDAAE)를 제안한다. 이는 교차 도메인 이미지 생성, 변환 및 도메인 적응을 가능하게 하며, 레이블이 붙은 데이터와 레이블이 없는 데이터를 모두 사용하여 SVHN→MNIST, USPS→MNIST, MNIST→USPS 벤치마크에서 각각 98.28%, 96.37%, 95.91%의 정확도로 최신 기술을 초월한다.

ABSTRACT

In this paper, we propose the Cross-Domain Adversarial Auto-Encoder (CDAAE) to address the problem of cross-domain image inference, generation and transformation. We make the assumption that images from different domains share the same latent code space for content, while having separate latent code space for style. The proposed framework can map cross-domain data to a latent code vector consisting of a content part and a style part. The latent code vector is matched with a prior distribution so that we can generate meaningful samples from any part of the prior space. Consequently, given a sample of one domain, our framework can generate various samples of the other domain with the same content of the input. This makes the proposed framework different from the current work of cross-domain transformation. Besides, the proposed framework can be trained with both labeled and unlabeled data, which makes it also suitable for domain adaptation. Experimental results on data sets SVHN, MNIST and CASIA show the proposed framework achieved visually appealing performance for image generation task. Besides, we also demonstrate the proposed method achieved superior results for domain adaptation. Code of our experiments is available in https://github.com/luckycallor/CDAAE.

연구 동기 및 목표

• 교차 도메인 이미지 추론, 생성 및 변환을 위해 컨텐츠와 스타일 표현을 분리함으로써 문제를 해결한다.
• 입력 하나에서 스타일을 조작함으로써 컨텐츠를 유지하면서 다양한 샘플을 생성할 수 있도록 한다.
• 레이블이 붙은 데이터와 레이블이 없는 데이터를 모두 활용하여 일반화 능력을 향상시키는 도메인 적응을 지원한다.
• 준지도 학습과 교차 도메인 전이를 모두 지원하는 통합 프레임워크를 개발한다.

제안 방법

• 컨텐츠와 스타일을 위한 별도의 인코더를 사용하며, 컨텐츠는 도메인 간에 공유되고 스타일은 각 도메인에 특화된다.
• 컨텐츠 및 스타일 잠재 코드는 적대적 훈련을 통해 사전 분포(Gaussian)에 매칭되어 샘플링이 가능해진다.
• 생성기 모델은 컨텐츠 및 스타일 코드를 결합하여 이미지를 재구성하며, 재구성 및 컨텐츠 일致성 손실이 강제로 적용된다.
• 모델은 레이블이 붙은 데이터(도메인 적응용)와 레이블이 없는 데이터(비지도 학습용)를 모두 사용하여 훈련된다.
• 도메인 적응에서 예측 신뢰도를 향상시키기 위해 부스팅 전략을 적용하며, 임계값을 적용한 예측을 사용해 훈련을 개선한다.
• 컨텐츠를 한 도메인에서, 스타일을 다른 도메인에서 조합함으로써 교차 도메인 이미지 번역을 지원한다.

실험 결과

연구 질문

• RQ1 통합 오토에인코더 프레임워크가 교차 도메인 이미지 생성을 위해 컨텐츠와 스타일을 효과적으로 분리할 수 있는가?
• RQ2 스태일을 조작함으로써 단일 입력에서 다양한 의미적으로 일관된 이미지를 생성할 수 있는가?
• RQ3 레이블이 붙은 데이터와 레이블이 없는 데이터를 모두 사용함으로써 프레임워크가 뛰어난 도메인 적응 성능을 달성할 수 있는가?
• RQ4 교차 도메인 번역에서 분리된 잠재공간 접근 방식은 공유된 잠재공간 접근 방식보다 어떻게 비교되는가?

주요 결과

• CDAAE는 SVHN에서 MNIST로의 도메인 적응 벤치마크에서 98.28%의 정확도를 달성하여 이전 최신 기술을 능가했다.
• 더 도전적인 USPS에서 MNIST로의 작업에서는 CDAAE가 96.37%의 정확도를 기록하여 이전 최신 기술보다 뚜렷이 향상되었다.
• 다른 도메인의 컨텐츠와 스타일을 조합하여 시각적으로 매력적인 교차 도메인 이미지를 생성함으로써 의미 있는 분리가 이루어졌음을 입증했다.
• 이미지 번역에서 모델은 쌍이 없는 예시가 없더라도 일관된 컨텐츠와 전달된 스타일을 가진 다양한 출력을 성공적으로 생성했다.
• 부스팅된 CDAAE 버전은 모든 도메인 적응 시나리오에서 성능을 향상시켰으며, 신뢰도 기반 정밀 조정 전략의 효과성을 보여주었다.