[論文レビュー] A Prototype-Oriented Framework for Unsupervised Domain Adaptation

Korawat Tanwisuth, Xinjie Fan+5 more|arXiv (Cornell University)|Oct 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 79被引用数 24

ひとこと要約

本稿では、教師なしドメイン適応のためのメモリおよび計算効率の良いプロトタイプ指向フレームワークを提案する。このフレームワークは、学習段階でソースドメインから得られるクラスプロトタイプにターゲット特徴をアライメントすることで、適応段階におけるソースデータへの依存を回避する。ターゲット特徴とプロトタイプ間の確率的双方向輸送を用いることで、追加のモデルパラメータが不要でありながら、敵対的ベースラインよりも高速に収束する最先端の性能を達成する。

ABSTRACT

Existing methods for unsupervised domain adaptation often rely on minimizing some statistical distance between the source and target samples in the latent space. To avoid the sampling variability, class imbalance, and data-privacy concerns that often plague these methods, we instead provide a memory and computation-efficient probabilistic framework to extract class prototypes and align the target features with them. We demonstrate the general applicability of our method on a wide range of scenarios, including single-source, multi-source, class-imbalance, and source-private domain adaptation. Requiring no additional model parameters and having a moderate increase in computation over the source model alone, the proposed method achieves competitive performance with state-of-the-art methods.

研究の動機と目的

• 直接的なソースドメインとターゲットドメイン間の特徴アライメントに依存する従来の教師なしドメイン適応手法に見られる制限を解消すること。
• ドメイン適応におけるサンプリングばらつき、クラス不均衡、およびソースデータのプライバシー懸念といった問題を克服すること。
• 適応段階でソースデータへの直接アクセスが不要な手法を開発し、プライバシーを守る適応を可能にすること。
• 単一ソース、マルチソース、ソース非公開設定を含む多様なドメイン適応シナリオにおいて、高速な収束と高いロバストネスを実現すること。

提案手法

• 線形分類器の重みを潜在空間上のクラスプロトタイプとして用い、ソースドメインの分布を表現する。
• 特徴アライメントを、ターゲット特徴とソースのクラスプロトタイプ間の確率的双方向輸送問題として定式化する。
• 輸送コストはポイント・ツー・ポイントの距離関数を用いて定義され、コサイン距離が最も有効であることが示された。
• 逆誤差伝搬中にプロトタイプへの勾配を遮断することで、退化解の発生を防ぎ、安定性を向上させる。
• 二重輸送損失を採用：一方の損失はターゲット特徴をプロトタイプにマッピングし、もう一方はプロトタイプをターゲット特徴にマッピングする。
• ミニバッチでエンドツーエンドに学習することで、追加のモデルパラメータが不要な効率的かつスケーラブルな適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 さまざまなドメインシフトシナリオにおいて、直接的なソース・ターゲット特徴アライメントに比べ、プロトタイプベースのアプローチが優れた性能を発揮できるか？
• RQ2 生のソース特徴ではなくクラスプロトタイプを用いることで、クラス不均衡やサンプリングばらつきに対するロバストネスがどのように向上するか？
• RQ3 ターゲット特徴とプロトタイプ間の双方向輸送機構が、一般化性能および収束速度をどの程度向上できるか？
• RQ4 特にプライバシーに配慮した応用において、ソースデータへのアクセスが不要な状態で、競争力のある性能を達成できるか？
• RQ5 輸送コスト関数の選定および勾配遮断戦略が、モデルの最終的性能と安定性にどのように影響するか？

主な発見

• 提案手法PCTは、ResNet-50を用いてOffice-31データセットで平均90.0%の精度を達成し、DeepJDOT や POT などのベースライン手法を上回った。
• PCTは急速に収束し、1,000イテレーション以内に安定した性能に達し、以降はテスト精度の変動が最小限に抑えられた。
• 双方向輸送損失が性能向上に最も寄与しており、$\mathcal{L}_{\mu\rightarrow t}$ 損失を除去すると精度が3.3%低下した。
• プロトタイプへの勾配遮断により精度が1.0%向上し、退化解の防止に有効であることが確認された。
• コサイン距離に基づくコスト関数を用いることで、指数カーネルを用いた場合に比べ3.1%高い精度が得られ、特徴類似度を捉える優位性が示された。
• 単一ソース、マルチソース、クラス不均衡、ソース非公開設定のすべてのテスト設定で、モデルパラメータの追加が不要な状態で競争力のある結果を達成した。