[論文レビュー] Jacobian Norm for Unsupervised Source-Free Domain Adaptation

Weikai Li, Meng Cao+1 more|arXiv (Cornell University)|Apr 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、教師なしソースフリー領域適応（USFDA）の性能を向上させるために、モデルの滑らかさを強化することで、ソースデータを必要とせずに、プラグインモジュールとしてのヤコビアンノルム（JN）正則化子を提案する。ターゲットサンプルの近傍におけるモデル出力のJNを最小化することで、一般化性能を向上させ、Office-31、Office-Home、VisDA-Cの全データセットで最先端の性能を達成し、計算コストの増加は最小限に抑えられる。

ABSTRACT

Unsupervised Source (data) Free domain adaptation (USFDA) aims to transfer knowledge from a well-trained source model to a related but unlabeled target domain. In such a scenario, all conventional adaptation methods that require source data fail. To combat this challenge, existing USFDAs turn to transfer knowledge by aligning the target feature to the latent distribution hidden in the source model. However, such information is naturally limited. Thus, the alignment in such a scenario is not only difficult but also insufficient, which degrades the target generalization performance. To relieve this dilemma in current USFDAs, we are motivated to explore a new perspective to boost their performance. For this purpose and gaining necessary insight, we look back upon the origin of the domain adaptation and first theoretically derive a new-brand target generalization error bound based on the model smoothness. Then, following the theoretical insight, a general and model-smoothness-guided Jacobian norm (JN) regularizer is designed and imposed on the target domain to mitigate this dilemma. Extensive experiments are conducted to validate its effectiveness. In its implementation, just with a few lines of codes added to the existing USFDAs, we achieve superior results on various benchmark datasets.

研究の動機と目的

• ソースデータが利用不可である場合の知識移転の制限による性能低下を解消すること。
• 局所的なモデル挙動を活用しない単一の疑似ラベル付けに依存する従来の暗黙的アライメント手法の不十分さを克服すること。
• ターゲットドメインにおけるモデルの滑らかさを向上させることで一般化性能を向上させる汎用正則化子を開発すること。
• 理論的裏付けがあり、既存のUSFDAフレームワークと互換性のある、即挿入可能なソリューションを提供すること。
• ソースモデルのみが利用可能なブラックボックス環境でも効果的な適応を可能にすること。

提案手法

• ドメインの不一致に加え、ヤコビアンノルムに基づくモデルの滑らかさ項を含む、新たな一般化誤差バウンディングを導出する。
• ターゲットサンプルの局所的近傍における出力変動をペナルティ化するJN正則化子を設計し、滑らかさを促進する。
• 特徴エンコーダーのファインチューニング中に、分類器は凍結したまま、JN正則化子を損失関数に統合する。
• 暗黙的ドメインアライメントのための疑似ラベル付けと組み合わせ、JN正則化子を併用して適応性能を共同で向上させる。
• 既存のUSFDAパイプラインに容易に統合できる、軽量で微分可能なモジュールとして実装する。
• バックプロパゲーションを用いてエンドツーエンドで最適化し、事前学習済み層と新規に追加された層で別々の学習率を設定する。

実験結果

リサーチクエスチョン

• RQ1 ヤコビアンノルムで測定されるモデルの滑らかさは、ソースフリー領域適応における一般化性能の向上に意味のあるインダクティブバイアスとして機能するか？
• RQ2 ソースデータが利用不可である状況下で、JN正則化子を組み込むことでUSFDAの性能が向上するか？
• RQ3 JN正則化子を追加した場合と暗黙的アライメントのみの場合とを比較したとき、適応性能にどのような差が生じるか？
• RQ4 実際の応用において、JN正則化子を追加する際の計算コストはどの程度か？
• RQ5 ソースモデルのみが利用可能なブラックボックスUSFDA環境でも、JN正則化子を適用できるか？

主な発見

• 提案されたJN正則化子は、Office-31およびOffice-Homeの両データセットで最先端の平均正答率を達成し、既存のSOTA手法を上回る性能を示した。
• VisDA-Cでは、12クラス中9クラスで最高または第2位のクラス別正答率を記録し、優れた一般化性能を示した。
• ベースラインのSHOTモデルと比較して、Office-31では2%、Office-Homeでは3.7%、VisDA-Cでは5.8%の性能向上を達成した。
• JN正則化子の時間コストは無視できるほど小さく、VisDA-Cではバッチあたりたった0.06秒の追加時間で、実世界の応用に実用的である。
• アブレーションスタディの結果、暗黙的アライメントとモデルの滑らかさの両方が不可欠であることが確認され、JN正則化子単体でもOffice-31で87.0%の正答率を達成し、強力な単体性能を示した。
• 理論的洞察として、モデルの滑らかさがUSFDAにおいて重要な、かつこれまでに見過ごされていた要因であることが結果から裏付けられた。