[논문 리뷰] Towards Unsupervised Domain Adaptation via Domain-Transformer

Ren Chuan-Xian, Zhai Yi-Ming외 2명|arXiv (Cornell University)|2022. 02. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 4

한 줄 요약

이 논문은 도메인 수준의 어텐션 메커니즘을 통합한 새로운 비지도 도메인 적응 방법인 도메인 트랜스포머(Domain-Transformer, DoT)를 제안한다. 이 방법은 CNN 기반 모델과 플러그 앤 플레이 도메인 수준 어텐션 메커니즘을 결합하여 도메인 간 국소적 의미 일致를 학습한다. 최적 운반 이론과 다양체 정규화를 활용함으로써, 의사 레이블이나 명시적 도메인 차이 최소화 없이도 최신 기술 수준(SOTA)의 성능을 달성하며, 도메인 이동과 일반화 오차를 크게 줄인다.

ABSTRACT

As a vital problem in pattern analysis and machine intelligence, Unsupervised Domain Adaptation (UDA) attempts to transfer an effective feature learner from a labeled source domain to an unlabeled target domain. Inspired by the success of the Transformer, several advances in UDA are achieved by adopting pure transformers as network architectures, but such a simple application can only capture patch-level information and lacks interpretability. To address these issues, we propose the Domain-Transformer (DoT) with domain-level attention mechanism to capture the long-range correspondence between the cross-domain samples. On the theoretical side, we provide a mathematical understanding of DoT: 1) We connect the domain-level attention with optimal transport theory, which provides interpretability from Wasserstein geometry; 2) From the perspective of learning theory, Wasserstein distance-based generalization bounds are derived, which explains the effectiveness of DoT for knowledge transfer. On the methodological side, DoT integrates the domain-level attention and manifold structure regularization, which characterize the sample-level information and locality consistency for cross-domain cluster structures. Besides, the domain-level attention mechanism can be used as a plug-and-play module, so DoT can be implemented under different neural network architectures. Instead of explicitly modeling the distribution discrepancy at domain-level or class-level, DoT learns transferable features under the guidance of long-range correspondence, so it is free of pseudo-labels and explicit domain discrepancy optimization. Extensive experiment results on several benchmark datasets validate the effectiveness of DoT.

연구 동기 및 목표

• 원천 도메인과 타겟 도메인이 분포 차이를 보이는 비지도 도메인 적응(Ubiquitous Domain Adaptation, UDA)에서 도메인 이동 문제를 해결하기 위함.
• 의사 레이블이나 명시적 도메인 차이 최소화에 의존하지 않고 도메인 간 국소적 의미 일치를 향상시키는 방법을 개발하기 위함.
• 도메인 간 샘플 대응을 모델링하기 위해 도메인 수준 어텐션 메커니즘을 도입함으로써 CNN과 트랜스포머의 강점을 융합하기 위함.
• 도메인 수준 어텐션 메커니즘을 최적 운반 이론과 통계학적 학습 이론과 이론적으로 연결하여, 특징 전이에서 어텐션의 새로운 해석을 제공하기 위함.

제안 방법

• 트랜스포머의 크로스 어텐션 기반으로 도메인 수준 어텐션 메커니즘을 제안하여 원천 도메인과 타겟 도메인 간 샘플 수준의 대응 관계를 학습한다.
• 사전 학습된 CNN 기반 모델과 도메인 수준 어텐션을 통합함으로써 CNN의 인덕티브 바이어스를 유지하면서도 장거리 의존성 모델링이 가능하도록 한다.
• 기하학적 다양체 정규화를 적용하여 특징 공간에서 국소적 의미 일치를 강제함으로써, 내부 클래스의 밀도 향상과 외부 클래스의 분리도 향상시킨다.
• 도메인 수준 어텐션을 워셔스타인 거리(Wasserstein metric)를 통해 최적 운반 이론과 이론적으로 연결하며, 어텐션과 도메인 정렬 간의 일반화 오차 경계를 유도한다.
• 명시적 도메인 차이 최소화(예: MMD, 적대적 학습)를 피하고 타겟 샘플에 대한 의사 레이블이 필요로 하지 않는다.
• 일반화 상한을 줄이기 위해 도메인 간 도메인 차이의 대리로 2-워셔스타인 거리(W2-distance)를 사용하며, 학습 중에 이를 최소화한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 도메인 수준 어텐션 메커니즘이 CNN 기반 모델을 대체하지 않고도 비지도 도메인 적응에서 특징 전이 성능을 향상시킬 수 있는가?
• RQ2 도메인 수준 어텐션은 원천 도메인과 타겟 도메인 간 국소적 의미 일치와 도메인 정렬에 어떻게 기여하는가?
• RQ3 도메인 수준 어텐션 메커니즘이 최적 운반 이론과 통계학적 학습 이론과 이론적으로 연결될 수 있는가? 이는 일반화 행동에 대한 원칙적인 이해를 제공하는가?
• RQ4 DoT는 의사 레이블이나 명시적 도메인 차이 손실 없이도 기존 최신 기술 수준(SOTA) 방법보다 우수한 성능을 내는가?
• RQ5 A-distance와 A_C-distance와 같은 도메인 차이 측정 지표에서 본 논문의 방법은 어떻게 비교되는가?

주요 결과

• DoT는 ImageCLEF-DA와 VisDA-2017 벤치마크에서 기존 방법들인 DeepJDOT 및 ATM을 능가하는 최신 기술 수준 성능을 달성한다.
• 학습 과정에서 타겟 도메인의 내부 클래스 산산이 크게 감소하여, 도메인 수준 어텐션 덕분에 내부 클래스의 밀도 향상이 이루어졌음을 시사한다.
• 타겟 도메인의 간클래스 산산이 높은 수준에서 안정화되며, 외부 클래스 간 분리도 향상되었음을 보여준다.
• SrcMean-to-TarMean 거리가 시간이 지남에 따라 감소하여, 클래스 수준의 도메인 정렬 향상가 확인된다.
• 도메인 간 2-워셔스타인 거리(W2-distance)가 점진적으로 감소함으로써 일반화 상한의 효과적인 최소화가 이루어졌음을 보여준다.
• ImageCLEF-DA(I→C)와 VisDA-2017(S→R) 양 쪽 모두에서 A-distance와 A_C-distance가 가장 작게 기록되어, 도메인 및 클래스 수준의 정렬 성능이 뛰어나다는 것을 확인한다.