[論文レビュー] Associative Partial Domain Adaptation

Youngeun Kim, Sungeun Hong+4 more|arXiv (Cornell University)|Aug 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 9

ひとこと要約

本稿では、部分的ドメイン適応（PDA）における負の転送を軽減するために、イントラドメインおよびインタドメインの関連性を活用する新規手法である関連的部分ドメイン適応（APDA）を提案する。ソースの正解ラベルとターゲットの確率的ラベルを組み合わせたラベル空間において、グラフベースの特徴伝搬を用い、移動平均を用いた信頼度誘導型損失を導入することで、異常サンプルの処理を効果的に行い、正の転送を強化する。この手法により、複数の公開ベンチマークで最先端の性能を達成する。

ABSTRACT

Partial Adaptation (PDA) addresses a practical scenario in which the target domain contains only a subset of classes in the source domain. While PDA should take into account both class-level and sample-level to mitigate negative transfer, current approaches mostly rely on only one of them. In this paper, we propose a novel approach to fully exploit multi-level associations that can arise in PDA. Our Associative Partial Domain Adaptation (APDA) utilizes intra-domain association to actively select out non-trivial anomaly samples in each source-private class that sample-level weighting cannot handle. Additionally, our method considers inter-domain association to encourage positive transfer by mapping between nearby target samples and source samples with high label-commonness. For this, we exploit feature propagation in a proposed label space consisting of source ground-truth labels and target probabilistic labels. We further propose a geometric guidance loss based on the label commonness of each source class to encourage positive transfer. Our APDA consistently achieves state-of-the-art performance across public datasets.

研究の動機と目的

• 部分的ドメイン適応（PDA）における負の転送の課題に取り組むこと、特にソースドメインにターゲットドメインとは関連のないプライベートクラスが存在する状況を想定する。
• 既存のクラスレベルおよびサンプルレベルの重み付け手法が、非自明なクラス内変動を適切に処理できず、明示的なドメイン間関係を捉えていないという限界を克服すること。
• ソースドメイン内のプライベートクラスにおけるイントラドメイン構造と、ラベル共通度が高いソース・ターゲットサンプル間のインタドメインアライメントを同時に活用する手法を開発すること。
• 統一フレームワーク内で多次元の関連性をモデル化することで、正の転送を強化し、負の転送を抑制すること。

提案手法

• APDAは、ソースドメインのハードラベルとターゲットドメインのソフトラベルを用いてラベル空間を構築するクラス関係グラフ（CRG）モジュールを導入し、インフラおよびインタドメインの関連性をモデル化する。
• CRGはグラフベースの特徴伝搬を実行し、内在するクラス構造を学習するとともに、ラベル共通度が高いソース・ターゲットサンプル間の近接性を促進する。
• 移動平均を用いた共通度スコアを用いて、ソースサンプルの信頼度誘導型損失を提案し、ソースプライベートクラスをターゲットサンプルから遠ざけつつ、共通クラスを引き寄せるようにモデルを誘導する。
• 信頼度誘導型損失を標準的なクロスエントロピー損失およびドメイン対抗損失と統合し、最適化のバランスを取るためにトレードオフハイパーパrameterを用いる。
• 特徴伝搬は、ソースの正解ラベルとターゲットの予測確率ラベルを組み合わせたラベル空間で実行され、クラス関係の構造的モデリングを可能にする。
• トップK選択および指数移動平均を用いて、とくにスパースなミニバッチ設定下でもラベル共通度の推定を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 クラスレベルまたはサンプルレベルの重み付けに依存する手法と比較して、インフラおよびインタドメインの関連性を同時にモデル化することで、部分的ドメイン適応（PDA）の性能が向上するか？
• RQ2 ソースプライベートクラス内に存在する非自明なクラス内変動は、どのように効果的に軽減できるか？これにより負の転送を防げるか？
• RQ3 ラベル共通度が高いソース・ターゲットサンプル間のインタドメインアライメントは、PDAにおける正の転送をどの程度強化できるか？
• RQ4 信頼度誘導型損失のスムージング要因、バッチサイズ、グラフの深さといったハイパーパrameterの選択に対して、提案手法はどの程度頑健か？

主な発見

• APDAは、Office-HomeやOffice-31を含む複数の公開PDAベンチマークで、常に最先端の性能を達成する。
• Office-HomeのCl ⇒ Pr設定では、ターゲットクラス数が少ない状況でも安定した性能を維持し、クラスの不均衡やラベルの不足に対しても頑健であることが示された。
• テスト誤差曲線から、標準的なドメイン適応および既存のPDA手法と比較して、APDAはより速く安定した収束を示した。
• t-SNEを用いた特徴可視化により、DANNやPADAと比較して、APDAはより判別力があり、凝集性の高い特徴空間を学習していることが確認された。
• 重み可視化の結果、APDAはソースプライベートクラスに対してほぼゼロの重みを割り当てており、負の転送を効果的に抑制していることが示された。
• アブレーションスタディにより、CRGモジュールおよび信頼度誘導型損失の両方が不可欠であることが確認され、いずれのコンponentsを削除しても性能が低下した。