[論文レビュー] Towards Unsupervised Domain Adaptation via Domain-Transformer

Ren Chuan-Xian, Zhai Yi-Ming+2 more|arXiv (Cornell University)|Feb 24, 2022

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 4

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）バックボーンと、ドメイン間の局所的意味的整合性を学習する即席型ドメインレベルアテンション機構を統合した、新たな教師なしドメイン適応手法であるドメイントランスフォーマー（DoT）を提案する。最適輸送理論と多様体正則化を活用することで、偽ラベルや明示的なドメイン乖離最適化を用いずに、最先端の性能を達成し、ドメインシフトと一般化誤差を顕著に低減する。

ABSTRACT

As a vital problem in pattern analysis and machine intelligence, Unsupervised Domain Adaptation (UDA) attempts to transfer an effective feature learner from a labeled source domain to an unlabeled target domain. Inspired by the success of the Transformer, several advances in UDA are achieved by adopting pure transformers as network architectures, but such a simple application can only capture patch-level information and lacks interpretability. To address these issues, we propose the Domain-Transformer (DoT) with domain-level attention mechanism to capture the long-range correspondence between the cross-domain samples. On the theoretical side, we provide a mathematical understanding of DoT: 1) We connect the domain-level attention with optimal transport theory, which provides interpretability from Wasserstein geometry; 2) From the perspective of learning theory, Wasserstein distance-based generalization bounds are derived, which explains the effectiveness of DoT for knowledge transfer. On the methodological side, DoT integrates the domain-level attention and manifold structure regularization, which characterize the sample-level information and locality consistency for cross-domain cluster structures. Besides, the domain-level attention mechanism can be used as a plug-and-play module, so DoT can be implemented under different neural network architectures. Instead of explicitly modeling the distribution discrepancy at domain-level or class-level, DoT learns transferable features under the guidance of long-range correspondence, so it is free of pseudo-labels and explicit domain discrepancy optimization. Extensive experiment results on several benchmark datasets validate the effectiveness of DoT.

研究の動機と目的

• ソースドメインとターゲットドメインの分布の不一致に起因するドメインシフトの課題に対処すること。
• 偽ラベルや明示的なドメイン乖離最小化に依存せずに、ドメイン間の局所的意味的整合性を向上させる手法を開発すること。
• ドメインレベルアテンション機構を導入することで、CNNとトランスフォーマーの長所を統合し、ドメイン間のサンプル対応関係をモデル化すること。
• ドメインレベルアテンション機構を最適輸送理論と統計学習理論とで理論的に結びつけ、特徴転送におけるアテンションの新たな解釈を提供すること。

提案手法

• トランスフォーマーにおけるクロスアテンションに基づく、即席型のドメインレベルアテンション機構を提案し、ソースドメインとターゲットドメイン間のサンプル単位の対応関係を学習する。
• 事前学習済みのCNNバックボーンとドメインレベルアテンションを統合することで、CNNのインダクティブバイアスを保持するとともに、長距離依存性のモデリングを可能にする。
• 多様体正則化を用いて特徴空間における局所的意味的整合性を強制し、クラス内コンactnessとクラス間分離性を促進する。
• ドメインレベルアテンションをワッサーシュタイン距離を介して最適輸送理論と理論的に結びつけ、アテンションとドメインアライメントの関係を示す一般化誤差バウンドを導出する。
• MMD や敵対的訓練などの明示的なドメイン乖離最適化を回避し、ターゲットサンプルの偽ラベルを必要としない。
• ドメイン乖離の代理指標として2次 Wasserstein 距離（W2距離）を用い、訓練中に最小化することで、一般化誤差の上界を効果的に低減する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくドメインレベルアテンション機構は、CNNバックボーンを置き換えずに教師なしドメイン適応における特徴転送を改善できるか？
• RQ2 ドメインレベルアテンションは、ソースドメインとターゲットドメイン間の局所的意味的整合性およびドメインアライメントにどのように寄与するか？
• RQ3 ドメインレベルアテンション機構を最適輸送理論および統計学習理論と理論的に結びつけ、その一般化挙動に対する原理的解釈を提供できるか？
• RQ4 DoT は、偽ラベルや明示的なドメイン乖離損失に依存せずに、既存の最先端手法を上回る性能を達成できるか？
• RQ5 A-距離や A_C-距離といったドメイン乖離指標において、本手法はどのように比較されるか？

主な発見

• DoT は ImageCLEF-DA および VisDA-2017 ベンチマークで最先端の性能を達成し、DeepJDOT や ATM などの既存手法を上回る。
• 訓練過程においてターゲットドメインのクラス内散乱が顕著に減少し、ドメインレベルアテンションによるクラス内コンパクトネスの向上が示された。
• ターゲットドメインのクラス間散乱は高い水準で安定化し、クラス間分離性の向上が確認された。
• SrcMean から TarMean の距離が時間経過とともに減少し、クラスごとのドメインアライメントが向上したことが裏付けられた。
• ドメイン間の2次 Wasserstein 距離（W2距離）が段階的に減少し、一般化誤差の上界が効果的に最小化されたことが示された。
• ImageCLEF-DA (I→C) および VisDA-2017 (S→R) の両方で、A-距離と A_C-距離が最小となり、優れたドメインおよびクラスごとのアライメントが確認された。