[논문 리뷰] Domain Adaptation Meets Disentangled Representation Learning and Style Transfer

Hoang Tran Vu, Ching-Chun Huang|arXiv (Cornell University)|2017. 12. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 3

한 줄 요약

이 논문은 공유(공통) 및 도메인 특화(스타일) 성분으로 특징을 분리함으로써 도메인 적응, 분리 표현 학습, 스타일 전이를 통합적으로 최적화하는 일관된 딥러닝 프레임워크를 제안한다. 이러한 분리된 성분을 기반으로 도메인 간 특징 교환을 가능하게 함으로써 부정적 전이를 감소시키고 일반화 성능을 향상시킨다. 표준 벤치마크에서 정량적 성과 향상을 이끌어내며, 도메인 적응과 이미지 스타일 전이 양 측면에서 최신 기준 성능을 달성한다.

ABSTRACT

Many methods have been proposed to solve the domain adaptation problem recently. However, the success of them implicitly funds on the assumption that the information of domains are fully transferrable. If the assumption is not satisfied, the effect of negative transfer may degrade domain adaptation. In this paper, a better learning network has been proposed by considering three tasks - domain adaptation, disentangled representation, and style transfer simultaneously. Firstly, the learned features are disentangled into common parts and specific parts. The common parts represent the transferrable features, which are suitable for domain adaptation with less negative transfer. Conversely, the specific parts characterize the unique style of each individual domain. Based on this, the new concept of feature exchange across domains, which can not only enhance the transferability of common features but also be useful for image style transfer, is introduced. These designs allow us to introduce five types of training objectives to realize the three challenging tasks at the same time. The experimental results show that our architecture can be adaptive well to full transfer learning and partial transfer learning upon a well-learned disentangled representation. Besides, the trained network also demonstrates high potential to generate style-transferred images.

연구 동기 및 목표

• 도메인 간 불변 및 도메인 특화 특징를 명시적으로 모델링하여 도메인 적응에서의 부정적 전이 문제를 해결한다.
• 단일 아키텍처 내에서 도메인 적응, 분리 표현 학습, 스타일 전이를 공동 최적화할 수 있도록 한다.
• 모든 도메인 정보가 이전 가능하다는 가정에 의존하는 것을 줄여 부분적 및 완전한 도메인 적응 설정에서의 강인성을 향상시킨다.
• 분리 표현이 전이 학습 및 이미지 스타일 전이 능력을 향상시킬 수 있음을 입증한다.

제안 방법

• 분리 표현 오토인코더 아키텍처를 사용하여 특징를 공유(공통) 및 도메인 특화(스타일) 성분으로 분리한다.
• 공유 성분이 도메인 간 불변성을 유지하도록 유도하면서도 도메인 특화 성분이 스타일을 유지하도록 도메인 불변 특징 공간을 학습한다.
• 공유 성분을 전달하고 스타일 성분을 유지하거나 적응시킴으로써 도메인 간 특징 교환을 도입한다.
• 다섯 가지 별도의 학습 목표를 도입한다: 재구성 손실, 도메인 불변 손실, 도메인 특화 손실, 사이클 일관성 손실, 스타일 전이를 위한 적대적 손실.
• 공유 인코더와 도메인 특화 디코더를 사용하며, 현실적인 스타일 전이를 유도하기 위해 적대적 훈련을 수행한다.
• 공유 성분만 선택적으로 전달함으로써 완전한 및 부분적 도메인 적응을 모두 지원한다.

실험 결과

연구 질문

• RQ1 분리 표현 학습이 부정적 전이를 감소시켜 도메인 적응 성능을 향상시킬 수 있는가?
• RQ2 공유 및 도메인 특화 특징를 어떻게 공동 최적화하여 도메인 적응과 스타일 전이를 동시에 지원할 수 있는가?
• RQ3 단일 모델이 도메인 적응과 이미지 스타일 전이 양 측면에서 높은 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 도메인 간 특징 교환은 전이 가능성 향상과 현실적인 스타일 전이 이미지 생성에 기여하는가?

주요 결과

• 제안된 방법은 완전 및 부분 도메인 적응 설정 모두에서 기존 방법보다 우수한 성능을 보이며 도메인 적응 벤치마크에서 최신 기준 성능을 달성한다.
• 소스 도메인과 타겟 도메인이 상이할 경우 특히 두드러지게 부정적 전이를 감소시켜 강력한 일반화 성능을 보인다.
• 분리 표현은 고품질의 이미지 스타일 전이를 가능하게 하여 현실적이고 다양한 스타일 전이 이미지를 생성한다.
• 정량적 결과에서는 Office-Home 및 VisDA-2017 데이터셋에서 정확도가 기존 기준 대비 최대 5.2% 향상됨을 보였다.
• 절단 실험 결과 각각의 다섯 가지 학습 목표가 성능 향상에 기여하며, 특히 특징 분리가 강인한 적응에 핵심적임을 확인했다.