[論文レビュー] Source-free Domain Adaptation via Distributional Alignment by Matching Batch Normalization Statistics

Masato Ishii, Masashi Sugiyama|arXiv (Cornell University)|Jan 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 29

ひとこと要約

ソースフリーのドメイン適応法で、固定された分類器とBN統計を一致させるためにターゲットエンコーダのみを微調整し、情報最大化で識別性を高め、ソースデータへアクセスせずに競争力のある結果を達成する。

ABSTRACT

In this paper, we propose a novel domain adaptation method for the source-free setting. In this setting, we cannot access source data during adaptation, while unlabeled target data and a model pretrained with source data are given. Due to lack of source data, we cannot directly match the data distributions between domains unlike typical domain adaptation algorithms. To cope with this problem, we propose utilizing batch normalization statistics stored in the pretrained model to approximate the distribution of unobserved source data. Specifically, we fix the classifier part of the model during adaptation and only fine-tune the remaining feature encoder part so that batch normalization statistics of the features extracted by the encoder match those stored in the fixed classifier. Additionally, we also maximize the mutual information between the features and the classifier's outputs to further boost the classification performance. Experimental results with several benchmark datasets show that our method achieves competitive performance with state-of-the-art domain adaptation methods even though it does not require access to source data.

研究の動機と目的

• 適応中にソースデータへアクセスせずにドメインシフトへ対処する。
• 事前学習済みモデルに保存されたBN統計を活用してソース特徴分布を近似する。
• 分類器を固定したままターゲット特徴エンコーダのみを微調整する。
• 情報最大化でターゲットドメインの分類を向上させる。
• 標準的なドメイン適応ベンチマークで競争力のある性能を示す。

提案手法

• 事前学習済みモデルを固定された分類器と調整可能なターゲットエンコーダに分割する。
• 分類器内の保存されたソースBN統計とターゲットBN統計を比較するため、ガウス近似を用いたBN統計一致損失を定義する。
• BNからのターゲット特徴分布とBN統計による近似ソース分布との間のKLダイバージェンスを最小化する。
• 情報最大化損失を組み込み、ターゲット予測を識別可能で多様にする。
• ラベルなしターゲットデータ上で、L_IM + lambda * L_BNMを最小化するようにエンコーダパラメータを共同最適化する。
• ソースフリー制約の下でこのアプローチの安定性と効率性を主張する。

実験結果

リサーチクエスチョン

• RQ1 ソースデータなしで、事前学習済み分類器に保存されたBN統計はソース特徴分布を効果的に近似してドメイン整合性を得られるか？
• RQ2 BN統計整合を情報最大化とともに最適化することは、ソースフリー適応下でターゲットドメインの分類を改善するか？
• RQ3 提案手法は、他のソースフリーおよび一般的なDA手法と比較して標準的なドメイン適応ベンチマークでどのように性能を示すか？

主な発見

• 本手法はベンチマークデータセットで最先端のソースフリーDA手法と競合する精度を達成する。
• BN統計一致（ガウス近似間のKLダイバージェンスを介して）は、ドメイン間の分布差を減らす。
• 情報最大化は識別性を高め、ターゲットデータへの過剰適合を避けるのに役立つ。
• Office-31の複数のシナリオや数字認識タスクで良好に機能し、一般的なDA手法の中にはしばしば上回る。
• ハイパーパラメータlambdaの広い範囲で安定性を示し、ターゲットデータセットが小さくても効果的なままである。