[論文レビュー] Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation

Hao Chen, Han, Xintong+2 more|arXiv (Cornell University)|Sep 30, 2022

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

本稿では、複数のソースドメインとターゲットドメイン間の特徴をアライメントするための学習可能プロンプトを用いる、マルチソース非教師付きドメイン適応のための新規フレームワークであるMulti-Prompt Alignment (MPA) を提案する。ドメイン固有のプロンプトを学習し、自己符号化によってノイズを除去し、L1アライメント損失によって予測の一貫性を強制することで、顕著に少ない可学習パラメータで最先端の性能を達成し、DomainNetでは平均54.1%の精度に到達した。

ABSTRACT

Most existing methods for unsupervised domain adaptation (UDA) rely on a shared network to extract domain-invariant features. However, when facing multiple source domains, optimizing such a network involves updating the parameters of the entire network, making it both computationally expensive and challenging, particularly when coupled with min-max objectives. Inspired by recent advances in prompt learning that adapts high-capacity models for downstream tasks in a computationally economic way, we introduce Multi-Prompt Alignment (MPA), a simple yet efficient framework for multi-source UDA. Given a source and target domain pair, MPA first trains an individual prompt to minimize the domain gap through a contrastive loss. Then, MPA denoises the learned prompts through an auto-encoding process and aligns them by maximizing the agreement of all the reconstructed prompts. Moreover, we show that the resulting subspace acquired from the auto-encoding process can easily generalize to a streamlined set of target domains, making our method more efficient for practical usage. Extensive experiments show that MPA achieves state-of-the-art results on three popular datasets with an impressive average accuracy of 54.1% on DomainNet.

研究の動機と目的

• 非教師付きドメイン適応（UDA）における複数のソースドメイン間のドメインシフトの課題に対処すること。
• 共有特徴抽出器に代えて学習可能プロンプトを用いることで、マルチソースUDAにおける計算コストと最適化の難易度を低減すること。
• プロンプトのノイズ除去と予測の一貫性を活用し、多様なソースドメイン間での一般化性とアライメントを向上させること。
• スムーズな潜在部分空間チューニング（LST）戦略により、新しいターゲットドメインへの効率的な適応を可能にすること。

提案手法

• 各ソース・ターゲットドメインペアに対して、ドメインギャップを最小化するため、対照的損失を用いて専用のプロンプトを学習する。
• 学習されたプロンプトは単純な自己符号化器を用いて再構築され、ドメイン固有のノイズが除去され、共有されたノイズのない埋め込み空間が抽出される。
• すべての再構築済みプロンプト間の予測をアライメントするためにL1損失が適用され、ターゲット画像における一貫した分類予測が強制される。
• 自己符号化器から得られる低次元の潜在空間により、潜在部分空間チューニング（LST）を用いて新しいターゲットドメインへの効率的な適応が可能になる。
• 本手法はCLIPを固定バックボーンとして用い、パラメータのチューニングはプロンプトパラメータのみに限定されるため、パラメータ数と計算コストが削減される。
• クラス固有およびドメイン固有のプロンプトトークンを用いることで、表現能力とアライメントの精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 共有特徴抽出器と比較して、計算コストを低減する観点から、プロンプト学習をマルチソースUDAに効果的に拡張できるか？
• RQ2 複数のソースドメインからのプロンプトをどのようにノイズ除去し、アライメントさせ、頑健でドメイン不変の表現を形成できるか？
• RQ3 再トレーニングなしで、学習されたプロンプト部分空間が新しいターゲットドメインに効率的に一般化できるか？
• RQ4 プロンプト設計、ノイズ除去、アライメント損失の各要因が、マルチソースUDA全体の性能に与える影響は何か？

主な発見

• MPAは、マルチソースUDAにおける挑戦的であるDomainNetデータセットで、新記録の平均54.1%の精度を達成した。
• 本手法は、すべての既存のマルチソースUDAベースラインを大きく上回り、L1アライメント損失を除去した場合、Clipartドメインで1.5%の顕著な精度低下を示した。
• アブレーションスタディにより、自己符号化によるプロンプトのノイズ除去が性能向上に寄与することが確認され、L1損失と自己符号化の両方を含む完全なMPA設定が最高の精度を達成した。
• 最適なハイパーパrameterはτ=0.4、M₁=M₂=16、α=500と特定され、性能と効率のバランスが取れていた。
• 潜在部分空間チューニング（LST）戦略により、追加のチューニングを最小限に抑えつつ、スムーズなターゲットドメインセットへの効率的適応が可能になった。
• 完全なMPAフレームワークは、最先端の手法と比較して、可学習パラメータ数を約3分の1に削減しながら、優れた精度を達成した。