[논문 리뷰] DiDA: Disentangled Synthesis for Domain Adaptation

Jinming Cao, Oren Katzir외 5명|ArXiv.org|2018. 05. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 21

한 줄 요약

이 논문은 비지도 학습 도메인 적응을 반복적으로 향상시키기 위해 분리된 특징 학습을 활용하는 DiDA 프레임워크를 제안한다. 소스 도메인과 타겟 도메인으로부터 공통(공유)된 특징과 도메인별 특징을 분리함으로써, DiDA는 소스 레이블과 타겟 도메인 전용 특징을 조합하여 현실적인, 가짜 레이블이 부여된 타겟 도메인 이미지를 합성하고, 이를 통해 분리 및 도메인 적응을 동시에 개선한다. 이로 인해 다양한 벤치마크와 백본 모델에서 일관된 성능 향상이 이루어진다.

ABSTRACT

Unsupervised domain adaptation aims at learning a shared model for two related, but not identical, domains by leveraging supervision from a source domain to an unsupervised target domain. A number of effective domain adaptation approaches rely on the ability to extract discriminative, yet domain-invariant, latent factors which are common to both domains. Extracting latent commonality is also useful for disentanglement analysis, enabling separation between the common and the domain-specific features of both domains. In this paper, we present a method for boosting domain adaptation performance by leveraging disentanglement analysis. The key idea is that by learning to separately extract both the common and the domain-specific features, one can synthesize more target domain data with supervision, thereby boosting the domain adaptation performance. Better common feature extraction, in turn, helps further improve the disentanglement analysis and disentangled synthesis. We show that iterating between domain adaptation and disentanglement analysis can consistently improve each other on several unsupervised domain adaptation tasks, for various domain adaptation backbone models.

연구 동기 및 목표

• 라벨이 부여된 소스 데이터와 레이블이 없는 타겟 데이터 사이의 분포 차이로 인해 발생하는 도메인 이동 문제를 해결하기 위해.
• 소스 도메인과 타겟 도메인의 공통적인, 작업에 관련된 특징과 도메인에 특화된, 분포에 특화된 특징을 명시적으로 분리하여 도메인 적응 성능을 향상시키기 위해.
• 소스 도메인 레이블과 타겟 도메인 전용 특징을 조합하여 현실적인, 가짜 레이블이 부여된 타겟 도메인 이미지를 합성함으로써, 더 나은 적응을 위한 훈련 데이터를 증강하기 위해.
• 개선된 분리가 도메인 적응을 향상시키고, 더 나은 도메인 적응이 다시 분리 품질을 향상시키는 피드백 루프를 구축하기 위해.

제안 방법

• 이 방법은 변동성 오토인코더 기반 아키텍처를 사용하여 입력 이미지를 공유(공통) 특징과 도메인 전용 특징으로 분해하는 분리된 표현 학습 프레임워크를 활용한다.
• 공통 특징은 소스 도메인과 타겟 도메인 양쪽에서 추출되어 도메인 간 일반화가 가능한 분류기 학습에 사용되며, 도메인 전용 특징은 도메인 정체성을 유지하기 위해 분리된다.
• 공통 특징(및 그 소스 레이블)을 소스 이미지에서 추출하고, 타겟 이미지의 도메인 전용 특징과 조합하여 현실적인, 가짜 레이블이 부여된 훈련 샘플을 생성함으로써 합성된 타겟 도메인 이미지를 생성한다.
• 프레임워크는 도메인 적응과 분리 학습을 반복적으로 번갈아 수행한다: 도메인 적응이 공통 특징의 품질을 향상시켜 분리 품질을 향상시키고, 반대로 분리 품질 향상은 도메인 적응 성능을 향상시킨다.
• 성능 향상 사이클이 구축되어, 도메인 적응 모델의 성능과 분리된 특징의 품질이 반복 과정을 거쳐 공진화된다.
• 이 방법은 다양한 백본 도메인 적응 모델과 호환되며, 원래의 적응 프레임워크에 대한 수정이 필요하지 않다.

실험 결과

연구 질문

• RQ1 반복적인 분리와 도메인 적응이 피드백 루프를 통해 상호로 향상되어 전체 도메인 적응 성능을 향상시킬 수 있는가?
• RQ2 소스 레이블과 타겟 도메인 전용 특징을 조합하여 타겟 도메인 이미지를 분리적으로 합성함으로써, 레이블이 없는 타겟 데이터에 대한 일반화 성능은 어느 정도 향상될 수 있는가?
• RQ3 분리된 공통 특징과 도메인 전용 특징이 작업에 관련된 콘텐츠를 도메인 전용 분포 이동에서 얼마나 잘 분리하는가?
• RQ4 분리 품질이 타겟 도메인 벤치마크에서 분류 정확도 향상과 상관관계가 있는가?

주요 결과

• DiDA는 MNIST→MNISTM(98% 정확도), MNIST→USPS(95%), SVHN→MNIST(95%)를 포함한 여러 비지도 학습 도메인 적응 벤치마크에서 최신 기술 수준의 성능을 달성하여 무작위 추측과 기준 방법을 크게 앞서며 성능을 높였다.
• DiDA가 추출한 공통 특징에는 강력한 클래스 정보가 포함되어 있으며, 이를 기반으로 학습된 분류기는 높은 정확도(98%, 95%, 95%)를 기록하지만, 도메인 전용 특징 기반 분류기는 무작위 추측 수준(12%, 11%, 20%)에 가까운 성능을 보이며 고품질의 분리가 이루어졌음을 시사한다.
• DiDA 반복 과정을 거치면서 합성된 타겟 도메인 이미지의 시각적 품질이 향상되며, 생성된 이미지가 점점 실제 타겟 도메인 이미지의 외관과 콘텐츠와 유사해진다.
• t-SNE 시각화 결과, 반복 과정을 거치면서 소스 도메인과 타겟 도메인의 공통 특징이 점점 더 잘 정렬되고 군집화되며, 도메인 전용 특징은 점점 더 분리됨을 확인할 수 있었고, 이는 개선된 분리 및 특징의 명확한 분리가 이루어졌음을 의미한다.
• 분리와 도메인 적응 간의 반복적 피드백 루프가 일관된 성능 향상을 이끌어내어, 두 구성 요소 간의 상호 향상이 실제로 이루어졌음을 입증한다.