[논문 리뷰] Domain-Invariant Adversarial Learning for Unsupervised Domain Adaption

Yexun Zhang, Ya Zhang외 2명|arXiv (Cornell University)|2018. 11. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 14

한 줄 요약

이 논문은 도메인 불변 적대적 학습(DIAL)을 제안하며, 단일 인코더를 소스 및 타겟 도메인 간에 공유하여 적대적 학습, 센터 손실, 조건부 분포 정렬을 통해 도메인 불변성과 분류 가능성을 갖춘 특징을 학습하는 통합 모델이다. 이 방법은 추론 시 도메인 지식이 필요 없이 특징 표현을 공동 최적화함으로써 여러 무 supervision 도메인 적응 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Unsupervised domain adaption aims to learn a powerful classifier for the target domain given a labeled source data set and an unlabeled target data set. To alleviate the effect of `domain shift', the major challenge in domain adaptation, studies have attempted to align the distributions of the two domains. Recent research has suggested that generative adversarial network (GAN) has the capability of implicitly capturing data distribution. In this paper, we thus propose a simple but effective model for unsupervised domain adaption leveraging adversarial learning. The same encoder is shared between the source and target domains which is expected to extract domain-invariant representations with the help of an adversarial discriminator. With the labeled source data, we introduce the center loss to increase the discriminative power of feature learned. We further align the conditional distribution of the two domains to enforce the discrimination of the features in the target domain. Unlike previous studies where the source features are extracted with a fixed pre-trained encoder, our method jointly learns feature representations of two domains. Moreover, by sharing the encoder, the model does not need to know the source of images during testing and hence is more widely applicable. We evaluate the proposed method on several unsupervised domain adaption benchmarks and achieve superior or comparable performance to state-of-the-art results.

연구 동기 및 목표

• 무 supervision 도메인 적응에서 도메인 이동 문제를 해결하기 위해 도메인 불변성과 분류 가능성을 갖춘 특징 표현을 학습하는 것.
• 소스 및 타겟 도메인 간에 단일 인코더를 공유함으로써 추론 시 도메인 특화 인코더나 도메인 지식이 필요 없도록 하는 것.
• 라벨이 부여된 소스 데이터에 대해 센터 손실을 도입하여 특징의 분류 가능성을 향상시키는 것.
• 타겟 도메인의 가짜 레이블을 사용하여 소스 및 타겟 도메인 간의 조건부 분포를 정렬함으로써 타겟 도메인 내 특징 클러스터링을 향상시키는 것.
• 적응 과정에서 소스 특징을 고정하지 않고 양 도메인의 표현을 함께 학습하는 것.

제안 방법

• 소스 및 타겟 도메인 모두에 대해 공통 인코더를 사용하며, 적대적 학습을 통해 도메인 불변 특징을 생성한다.
• 적대적 분류기가 소스 및 타겟 특징를 구분하도록 훈련되어, 인코더가 도메인을 식별할 수 없는 표현을 생성하도록 유도한다.
• 소스 특징에 대해 센터 손실을 적용하여 클래스별로 응집된 클러스터를 만들고 분류 성능를 향상시킨다.
• 타겟 도메인의 가짜 레이블을 사용하여 $P(X|\hat{Y})$의 조건부 분포를 정렬함으로써 조건부 분포 정렬을 달성한다.
• 분류 손실, 도메인 적대적 손실, 센터 손실, 조건부 분포 정렬 손실을 공동으로 최적화한다.
• 훈련 목표는 $\mathcal{L}_s$ (분류), $\mathcal{L}_{GAN}$ (적대적), $\mathcal{L}_{cs}$ (센터 손실), $\mathcal{L}_{ct}$ (조건부 정렬)의 조합이다.

실험 결과

연구 질문

• RQ1 무 supervision 도메인 적응에서 단일 공유 인코더가 소스 및 타겟 도메인 간에 효과적으로 도메인 불변 특징를 학습할 수 있는가?
• RQ2 라벨이 부여된 소스 데이터에 센터 손실을 도입하면 특징의 분류 가능성이 향상되고 타겟 도메인으로의 일반화 성능가 향상되는가?
• RQ3 타겟 도메인에서 가짜 레이블을 사용한 조건부 분포 정렬이 잘못 분류를 줄이고 특징 클러스터링을 향상시키는가?
• RQ4 소스 및 타겟 표현을 함께 학습하는 것과 소스 특징를 고정한 경우를 비교했을 때, 어떤 것이 도메인 적응에서 더 우수한 성능를 보이는가?
• RQ5 제안된 방법은 타겟 도메인 성능 향상과 함께 소스 도메인 성능도 유지하는가?

주요 결과

• DIAL 모델은 SVHN → MNIST 벤치마크에서 테스트 정확도 89.29%를 기록하여 이전 최신 기술 성능를 초월했다.
• USPS → MNIST 벤치마크에서는 84.48%의 정확도를 기록하여 도메인 이동에 대한 강력한 일반화 성능를 입증했다.
• 제거 실험 결과, 센터 손실($\mathcal{L}_{cs}$)과 조건부 정렬($\mathcal{L}_{ct}$)을 추가함으로써 성능가 78.35%에서 89.29%로 크게 향상되었다.
• t-SNE 시각화 결과, 적대적 학습 후 소스 및 타겟 도메인의 특징가 구분되지 않게 되었으며, 센터 손실은 클러스터를 더 응집되게 하고, 조건부 정렬은 더 정확한 클러스터링을 가능하게 했다.
• 적응 전후 소스 도메인에서의 성능가 거의 동일하게 유지되었다(96.40 vs. 96.29), 이는 소스 도메인에서의 성능 저하가 없음을 확인했다.
• 공유 인코더 설계 덕분에 추론 시 도메인 정보가 필요 없어져 실용적 적용 가능성이 향상되었다.