[論文レビュー] When Source-Free Domain Adaptation Meets Learning with Noisy Labels

Yi Li, Gezheng Xu+6 more|arXiv (Cornell University)|Jan 31, 2023

Domain Adaptation and Few-Shot Learning被引用数 20

ひとこと要約

本論文はSFDAを無限界のラベルノイズでの学習として再定義し、従来のLLN手法がこの状況下で失敗することを証明し、ELRによる早期学習（ETP）を用いて複数のベンチマークでSFDAを改善することを示す。

ABSTRACT

Recent state-of-the-art source-free domain adaptation (SFDA) methods have focused on learning meaningful cluster structures in the feature space, which have succeeded in adapting the knowledge from source domain to unlabeled target domain without accessing the private source data. However, existing methods rely on the pseudo-labels generated by source models that can be noisy due to domain shift. In this paper, we study SFDA from the perspective of learning with label noise (LLN). Unlike the label noise in the conventional LLN scenario, we prove that the label noise in SFDA follows a different distribution assumption. We also prove that such a difference makes existing LLN methods that rely on their distribution assumptions unable to address the label noise in SFDA. Empirical evidence suggests that only marginal improvements are achieved when applying the existing LLN methods to solve the SFDA problem. On the other hand, although there exists a fundamental difference between the label noise in the two scenarios, we demonstrate theoretically that the early-time training phenomenon (ETP), which has been previously observed in conventional label noise settings, can also be observed in the SFDA problem. Extensive experiments demonstrate significant improvements to existing SFDA algorithms by leveraging ETP to address the label noise in SFDA.

研究の動機と目的

• ソースフリー Domain Adaptation（SFDA）におけるラベルノイズの性質を説明し、それを従来のLLN仮定と対比させる。
• 理論的にSFDAのラベルノイズが無限界（無界）であることを示し、従来のLLN手法がこの状況下で苦戦することを示す。
• SFDAにおいて早期学習現象（ETP）が存在することを示し、ノイズ付きラベルの記憶化を緩和するために活用できることを示す。
• 簡単な早期学習正則化（ELR）項を提案し、それを既存のSFDA目的関数と統合して性能を向上させる。
• 複数のSFDAベンチマーク（VisDA、DomainNet、Office-Home、Office-31）およびいくつかのSFDAベースラインにわたってELRを実証的に検証する。

提案手法

• ソースとターゲット間のドメインシフトによって生じる無限界ラベルノイズを伴うLLNとしてSFDAをモデル化する。
• 無限界ノイズ領域を理論的に特徴づけ、界限付きノイズのLLN手法がSFDA下でノイズ耐性を持たないことを示す。
• 早期学習現象（ETP）を活用して初期学習時にクリーンなサンプルと誤ラベル付きサンプルを識別する。
• 現在の予測を移動平均の早期予測に固定するELR項を導入し、ノイズラベルの記憶化を抑制する。
• ELRを既存のSFDA目的関数（例：SHOT、G-SFDA、NRC）と統合するが、コアアーキテクチャを変更しない。
• ELRのダイナミクスを制御する単一の正則化重みlambdaとモーメンタムパラメータbetaを提供する。

実験結果

リサーチクエスチョン

• RQ1 SFDAにおけるラベルノイズと従来のLLN設定との根本的な違いは何か。
• RQ2 SFDAにおける無限界ラベルノイズは早期学習現象を活用して効果的に対処できるか。
• RQ3 早期学習正則化項（ELR）の追加は標準ベンチマーク全体でSFDAの性能を改善するか。
• RQ4 ELRは実践的には既存のSFDA手法（SHOT、G-SFDA、NRC）とどのように相互作用するか。
• RQ5 界限付きノイズのために設計されたLLN手法は、SFDAの無界ノイズの下で依然として効果がないのか。

主な発見

• SFDAのラベルノイズは無界であり、ドメインシフト下で誤ラベル化されたターゲットサンプルでは1に近づくことがある。
• 界限付きノイズを前提とする多くのLLN手法はSFDA問題に対してノイズ耐性がない。
• SFDAにはETPが存在し、ラベルノイズに対する頑健性を改善するために活用できる。
• SFDA目的関数にELRを追加することで複数のベンチマークで一貫した性能向上をもたらす。
• ELR強化SFDA手法は、ソースのみおよびいくつかのベースラインと比較していくつかのデータセットで最先端の結果を達成する。
• ハイパーパラメータの研究は、βとλが合理的な範囲内で頑健であることを示し、極端な値ではいくらか感度がある。