[論文レビュー] Semi-Supervised Hypothesis Transfer for Source-Free Domain Adaptation

Ning Ma, Jiajun Bu+5 more|arXiv (Cornell University)|Jul 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 5

ひとこと要約

本論文は、ソースデータにアクセスできない状況下で、事前学習済みソースモデルの仮説をターゲットドメインに転送する、プライバシー保護型の半教師ありドメイン適応手法を提案する。反復的エントロピー最小化と不確実性を考慮したラベル伝搬を用いて、ドメイン間およびドメイン内アライメントを強化し、公開ベンチマーク上でのSOTA手法比で最大19.9%の精度向上を達成した。

ABSTRACT

Domain Adaptation has been widely used to deal with the distribution shift in vision, language, multimedia etc. Most domain adaptation methods learn domain-invariant features with data from both domains available. However, such a strategy might be infeasible in practice when source data are unavailable due to data-privacy concerns. To address this issue, we propose a novel adaptation method via hypothesis transfer without accessing source data at adaptation stage. In order to fully use the limited target data, a semi-supervised mutual enhancement method is proposed, in which entropy minimization and augmented label propagation are used iteratively to perform inter-domain and intra-domain alignments. Compared with state-of-the-art methods, the experimental results on three public datasets demonstrate that our method gets up to 19.9% improvements on semi-supervised adaptation tasks.

研究の動機と目的

• プライバシー制約によりソースデータが利用できない状況下で、視覚およびマルチメディアタスクにおけるドメインシフトの課題に対処すること。
• テスト時におけるソースデータが完全に利用不可な状況下で、ラベル付きターゲットデータのみを用いた効果的な半教師ありドメイン適応を可能にすること。
• 凍結された分類器の仮説と不確実性推定を用いた反復的自己学習を活用して、ソースドメインとターゲットドメインの間のアライメントを向上させること。
• エントロピー最小化と強化されたラベル伝搬を用いて、最小限のラベル付きターゲットデータで性能を最大化すること。

提案手法

• 分類器をソースドメインからターゲットドメインに仮説転送学習により転送し、適応段階で分類器を凍結する。
• ターゲット特徴に対してエントロピー最小化を適用し、予測の信頼性を高め、未ラベルデータの不確実性を低減する。
• ターゲット特徴に基づいて構築されたk近傍近傍グラフを用いて、ラベル付きデータの擬似ラベル化を強化し、低不確実性サンプルを優先する。
• 不確実性推定（例：モンテカルロドロップアウト）を用いてノイズの多い擬似ラベルをフィルタリングし、反復的精錬におけるロバスト性を向上させる。
• 交差エントロピー損失（ラベル付きデータ）、未ラベルデータのエントロピー最小化損失、擬似ラベル損失、ドメイン不変型対照損失を複数組み合わせる。
• エントロピー最小化とラベル伝搬の間で相互強化を実施し、反復的に予測を精錬することで、ドメイン間およびドメイン内アライメントの両方を向上させる。

実験結果

リサーチクエスチョン

• RQ1 テスト時におけるソースデータの完全な非利用下でも、仮説転送が効果的なドメイン適応を可能にするか？
• RQ2 ソースフリーな半教師あり設定下で、限られたラベル付きターゲットデータをどのように効果的に活用できるか？
• RQ3 エントロピー最小化とラベル伝搬の反復的相互強化が、標準ベースラインを上回るドメインアライメントを実現するか？
• RQ4 ハイパーパrameter（例：不確実性閾値、k、λ₀）の中で、性能に最も顕著に影響を与えるものは何か？また、最適化はどのように行えるか？

主な発見

• 提案手法は、半教師ありソースフリードメイン適応ベンチマーク上、SOTA手法比で最大19.9%の精度向上を達成した。
• Office-Homeデータセット（クラス1つあたり3ラベル付きサンプル）において、すべての正則化部品を用いたモデルは55.8%の精度を達成したが、交差エントロピー損失のみを用いた場合の48.1%と比較して顕著な向上が見られた。
• アブレーションスタディの結果、低不確実性データを用いたエントロピー最小化と擬似ラベル化が性能向上に寄与することが示されたが、フィルタリングなしの多様性損失は結果を悪化させた。
• 低不確実性サンプルを多すぎると性能が低下する傾向が示され、擬似ラベル化において「質」が「量」を上回ることが重要であることがわかった。
• k近傍近傍グラフの最適なkは1より大きいことが示された。k=1ではグラフが疎になり、ラベル伝搬が不十分になる。
• 本手法はデータセットに依存せず汎用的であり、1ショットから3ショットの少データ設定下でも、Office-HomeおよびDomainNetの両方でベースラインを上回る性能を発揮した。