[논문 리뷰] Wasserstein Distance Guided Representation Learning for Domain Adaptation

Jian Shen, Yanru Qu외 2명|arXiv (Cornell University)|2017. 07. 05.

Domain Adaptation and Few-Shot Learning인용 수 298

한 줄 요약

WDGRL은 도메인 간 특징 간 Wasserstein 거리를 도메인 크리틱을 통해 적대적으로 최소화하여 도메인 불변이고 판별적인 표현을 학습하고, 감정 분석 및 이미지 분류 작업에서 교차 도메인 성능을 향상시킨다.

ABSTRACT

Domain adaptation aims at generalizing a high-performance learner on a target domain via utilizing the knowledge distilled from a source domain which has a different but related data distribution. One solution to domain adaptation is to learn domain invariant feature representations while the learned representations should also be discriminative in prediction. To learn such representations, domain adaptation frameworks usually include a domain invariant representation learning approach to measure and reduce the domain discrepancy, as well as a discriminator for classification. Inspired by Wasserstein GAN, in this paper we propose a novel approach to learn domain invariant feature representations, namely Wasserstein Distance Guided Representation Learning (WDGRL). WDGRL utilizes a neural network, denoted by the domain critic, to estimate empirical Wasserstein distance between the source and target samples and optimizes the feature extractor network to minimize the estimated Wasserstein distance in an adversarial manner. The theoretical advantages of Wasserstein distance for domain adaptation lie in its gradient property and promising generalization bound. Empirical studies on common sentiment and image classification adaptation datasets demonstrate that our proposed WDGRL outperforms the state-of-the-art domain invariant representation learning approaches.

연구 동기 및 목표

• 타깃 라벨 데이터가 드문 상황에서 공변량 이동 아래의 도메인 적응을 고무한다.
• 도메인에 불변하면서도 판별 가능한 특징 표현을 학습한다.
• 안정적인 그래디언트와 더 나은 일반화 보장을 위해 Wasserstein 거리를 활용한다.
• 타깃 도메인 예측 가능성을 보장하기 위해 WDGRL을 판별적 분류기와 통합한다.

제안 방법

• 입력을 잠재 표현으로 맵핑하는 특징 추출기 f_g를 도입한다.
• 출처와 대상 표현 간의 Wasserstein 거리를 추정하기 위해 도메인 크리틱 f_w를 학습시킨다.
• 그래디언트 페널티를 통해 크리틱에 Lipschitz 제약을 강제하고 그래디언트 상승으로 Wasserstein 거리를 최적화한다.
• 특징 추출기를 Wasserstein 거리를 최소화하도록 업데이트하되 동시에 소스 도메인 분류 손실도 최소화한다.
• 선택적으로 WDGRL을 판별기와 결합하여 타깃 도메인에 대해 판별적이고 라벨 인지적인 표현을 보장한다.
• 크리틱 최대화와 특징/판별기 최소화를 교대로 수행하는 실용적 학습 알고리즘을 제공한다.

실험 결과

연구 질문

• RQ1 Wasserstein 거리가 도메인 적응에서 소스 및 대상 표현을 정렬하기 위한 안정적인 그래디언트를 제공할 수 있는가?
• RQ2 표준 벤치마크에서 WDGRL이 기존의 도메인 불변 표현 학습 방법(DANN, MMD, CORAL 등)을 능가하는가?
• RQ3 학습된 표현이 이론적 경계로 뒷받침되며 타깃 도메인에 잘 일반화되는가?
• RQ4 감독 분류기를 통합하는 것이 타깃 도메인 성능 및 표현 품질에 어떤 영향을 미치는가?

주요 결과

• WDGRL은 감정 분석 및 이미지 분류의 일반적인 도메인 적응 벤치마크에서 최첨단 표현 학습 접근법을 능가한다.
• 학습된 표현은 도메인 불변이면서도 판별적이며, 라벨 구조가 보존된 통합된 도메인 분포를 시각화로 입증된다.
• 이론적 분석은 Wasserstein 거리가 전통적 적대적 손실보다 그래디언트 우월성을 보임을 시사하여 안정적인 훈련과 일반화에 기여한다.
• Amazon 리뷰와 Office-Caltech 데이터셋에서의 실험 결과는 전이 작업들에 대해 평균 정확도 향상을 보여준다.
• WDGRL은 표현 학습 구성요소를 대체함으로써 기존의 대칭적 특징 기반 적응 프레임워크에 통합될 수 있다.