[논문 리뷰] Generate To Adapt: Aligning Domains using Generative Adversarial Networks

Swami Sankaranarayanan, Yogesh Balaji외 2명|arXiv (Cornell University)|2017. 04. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 27

한 줄 요약

이 논문은 상호보완적인 방식으로 특징 인코더와 생성적 적대적 네트워크를 함께 훈련시켜 소스 도메인과 타겟 도메인의 분포를 정렬하는 GAN 기반 도메인 적응 방법을 제안한다. 기존 방법들이 GAN을 데이터 생성 및 재학습에 사용하는 것과 달리, 본 방법은 GAN을 직접적으로 특징 공간을 개선하는 데 활용하여, 숫자 분류, 물체 인식(OFFICE), 그리고 합성 데이터에서 실세계 데이터로의 적응과 같은 다양한 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Domain Adaptation is an actively researched problem in Computer Vision. In this work, we propose an approach that leverages unsupervised data to bring the source and target distributions closer in a learned joint feature space. We accomplish this by inducing a symbiotic relationship between the learned embedding and a generative adversarial network. This is in contrast to methods which use the adversarial framework for realistic data generation and retraining deep models with such data. We demonstrate the strength and generality of our approach by performing experiments on three different tasks with varying levels of difficulty: (1) Digit classification (MNIST, SVHN and USPS datasets) (2) Object recognition using OFFICE dataset and (3) Domain adaptation from synthetic to real data. Our method achieves state-of-the art performance in most experimental settings and by far the only GAN-based method that has been shown to work well across different datasets such as OFFICE and DIGITS.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인이 데이터 분포에서 다를 때 발생하는 도메인 이동 문제를 해결한다.
• 데이터 생성과 재학습에 의존하는 기존 도메인 적응 방법의 한계를 극복한다.
• 생성적 적대적 네트워크를 데이터 합성용이 아니라 특징 표현 정렬을 향상시키기 위해 활용하는 통합 프레임워크를 개발한다.
• 합성-실세계 및 교차 데이터셋 시나리오를 포함한 다양한 도메인 적응 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 깊이 있는 특징 인코더와 생성적 적대적 네트워크가 상호보완적으로 공진화하여 공유된 임베딩 공간에서 소스 도메인과 타겟 도메인의 특징을 정렬하는 상호보완적 훈련 프레임워크를 도입한다.
• 생성기(G)는 소스 도메인 특징을 타겟 도메인 유사 특징으로 매핑하도록 훈련하고, 구분기(D)는 실제 타겟 도메인 특징와 생성된 특징를 구분하도록 훈련한다.
• 적대적 손실을 사용하여 생성기가 잠재 공간에서 타겟 도메인 특징와 구분이 가지 않도록 유도한다.
• 도메인 구분기를 사용하여 실제 소스 도메인 특징와 생성된 타겟 유사 특징 간의 도메인 차이를 최소화하도록 특징 인코더를 최적화한다.
• 분류, 적대적, 도메인 정렬 항목을 포함하는 다목적 손실을 사용하여 인코더와 GAN을 함께 훈련한다.
• 재학습을 위한 데이터 생성을 피하고, 대신 GAN을 직접적으로 특징 표현을 개선하는 데 사용함으로써 엔드 투 엔드 도메인 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성적 적대적 네트워크를 합성 학습 데이터 생성 없이도 소스 도메인과 타겟 도메인의 특징 분포를 정렬하는 데 효과적으로 활용할 수 있는가?
• RQ2 특징 인코더와 GAN을 상호보완적으로 훈련시키는 방식이 기존의 GAN 기반 데이터 증강 기법보다 도메인 적응에서 어떻게 성능이 뛰어나게 되는가?
• RQ3 제안된 방법은 교차 데이터셋 숫자 인식 및 합성-실세계 적응과 같은 다양한 도메인 이동 시나리오에 일반화되는가?
• RQ4 데이터 생성에 의존하지 않고도 표준 벤치마크인 OFFICE와 DIGITS에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 MNIST, SVHN, USPS 데이터셋을 사용한 숫자 분류 작업에서 최신 기술 수준의 성능을 달성한다.
• 물체 인식을 위한 OFFICE 데이터셋에서 기존의 GAN 기반 방법들을 능가하며, 도메인 이동에 대한 강력한 일반화 능력을 보여준다.
• 도메인 간 격차가 특히 큰 합성-실세계 도메인 적응에서 최고의 성능을 기록한다.
• OFFICE와 DIGITS를 포함한 다양한 데이터셋에서 효과적으로 작동하는 유일한 GAN 기반 방법으로, 광범위한 적용 가능성을 보여준다.