[논문 리뷰] Multi-source Domain Adaptation via Weighted Joint Distributions Optimal Transport

Rosanna Turrisi, Rémi Flamary외 2명|arXiv (Cornell University)|2020. 06. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 8

한 줄 요약

이 논문은 특성 공간과 레이블 공간에서의 유사성을 바탕으로 동시에 소스 및 타겟 도메인을 정렬하고 적응형 소스 가중치를 학습하는 가중치가 부여된 공동분포 최적 운반 이론을 활용하는 새로운 다중 소스 도메인 적응 방법인 MSDA-WJDOT을 제안한다. 이 방법은 변동성이 큰 소스 분포를 활용함으로써 불변성 조건을 강제하지 않고도 최신 기술 수준의 성능을 달성하며, 시뮬레이션 및 실제 데이터 기반 벤치마크에서 더 뛰어난 안정성과 해석 가능성으로 기존 방법들을 능가한다.

ABSTRACT

The problem of domain adaptation on an unlabeled target dataset using knowledge from multiple labelled source datasets is becoming increasingly important. A key challenge is to design an approach that overcomes the covariate and target shift both among the sources, and between the source and target domains. In this paper, we address this problem from a new perspective: instead of looking for a latent representation invariant between source and target domains, we exploit the diversity of source distributions by tuning their weights to the target task at hand. Our method, named Weighted Joint Distribution Optimal Transport (WJDOT), aims at finding simultaneously an Optimal Transport-based alignment between the source and target distributions and a re-weighting of the sources distributions. We discuss the theoretical aspects of the method and propose a conceptually simple algorithm. Numerical experiments indicate that the proposed method achieves state-of-the-art performance on simulated and real-life datasets.

연구 동기 및 목표

• 소스 분포가 다양하거나 회전되어 있을 경우 실패할 수 있는 기존 도메인 적응 방법의 한계를 해결하기 위해 특성의 불변성을 강제하는 것에 대안을 제공한다.
• 단일 불변 표현으로 압축되는 것이 아니라, 다수의 소스 도메인의 다양성을 활용하는 방법을 개발한다.
• 최적 운반 이론과 공동분포 정렬을 활용하여 다중 소스 도메인 적응에 대한 이론적으로 탄탄한 접근법을 제시한다.
• 임bedding 함수와 소스 가중치를 동시에 최적화하여 타겟 도메인의 특성에 기반한 유의미한 소스의 동적 선택을 가능하게 한다.
• 특히 저자료 환경에서 도메인 이동 및 타겟 이동 문제에 대한 일반화 능력과 안정성을 향상시킨다.

제안 방법

• 이 방법은 타겟 분포와 소스 공동분포의 볼록 조합 사이의 최적 운반을 통한 공동 최적화 문제로 다중 소스 도메인 적응을 수식화한다.
• 학습 과정에서 각 소스의 관련성을 반영하기 위해 소스 공동분포의 가중합을 도입한다.
• 핵심 최적화는 추정된 타겟 공동분포와 소스 공동분포의 가중합 사이의 워셔스타인 거리를 최소화하는 것이다.
• 임베딩 함수 $g$와 소스 가중치 $\boldsymbol{\alpha}$를 동시에 최적화함으로써 특성 공간과 레이블 공간의 유사성에 기반한 적응형 소스 선택이 가능해진다.
• 기울기 기반 최적화를 통해 엔드 투 엔드 학습이 가능한 가중 가능한 최적 운반 레이어를 사용하여 운반 비용을 계산한다.
• 특성과 레이블의 공동분포를 모델링하여 도메인 이동 및 타겟 이동 시나리오 모두를 지원한다.

실험 결과

연구 질문

• RQ1 특성의 불변성을 강제하는 방법들과는 달리 소스 분포의 다양성을 명시적으로 모델링하는 다중 소스 도메인 적응 방법이 성능 면에서 뛰어나게 작용할 수 있는가?
• RQ2 최적 운반 이론을 활용하여 소스 및 타겟 공동분포를 동시에 정렬하고 소스 가중치를 학습할 수 있는가?
• RQ3 타겟 분포와 소스 공동분포의 가중합 사이의 워셔스타인 거리를 최소화하는 방법의 이론적 일반화 경계는 무엇인가?
• RQ4 임베딩과 소스 가중치의 공동 최적화가 저자료 및 고이동 환경에서의 성능과 안정성 향상에 기여하는가?
• RQ5 학습된 소스 가중치는 실제 응용에서 도메인 간 유사성 측정과 함께 어떻게 설명 가능성을 제공하는가?

주요 결과

• MSDA-WJDOT MTL은 음악-말하기 식별 작업에서 네 개의 타겟 도메인 평균 순위 2.25를 기록하여, 타겟 레이블에 접근 가능한 다른 모든 방법들을 크게 앞서며 뛰어난 성능을 보였다.
• Destroyerengine (D) 데이터셋에서 테스트 정확도 99.67% ± 1.63를 달성하여 도전적인 실제 도메인 적응 문제에서 뛰어난 성능을 입증했다.
• MSDA-WJDOT MTL은 F16에서 4.15%의 낮은 표준편차를 보이며 소형 샘플 크기와 데이터 변동성에 대해 매우 높은 안정성을 보였다.
• 타겟 레이블에 접근 가능한 Target 및 Baseline+Target 기준선을 넘어선 성능을 기록하여, 제로샷 적응에서의 효과성을 입증했다.
• 학습된 소스 가중치는 특성 공간과 레이블 공간에서 타겟과 가장 유사한 소스에 더 높은 가중치를 할당함으로써 도메인 간 유사성의 해석 가능한 측정 기준을 제공했다.
• 제거 실험을 통해 임베딩과 가중치의 공동 학습(MSDA-WJDOT MTL)이 사전 학습된 임베딩보다 성능 향상에 크게 기여함을 확인하여 엔드 투 엔드 최적화의 유용성을 입증했다.