[論文レビュー] AdaNPC: Exploring Non-Parametric Classifier for Test-Time Adaptation

Yifan Zhang, Xue Wang+6 more|arXiv (Cornell University)|Apr 25, 2023

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

AdaNPC はテスト時適応のための非パラメトリックでメモリベースの分類器を導入し、 heavy gradient 更新なしで連続するターゲットドメインに対して強力な DG パフォーマンスと頑健性を発揮します。

ABSTRACT

Many recent machine learning tasks focus to develop models that can generalize to unseen distributions. Domain generalization (DG) has become one of the key topics in various fields. Several literatures show that DG can be arbitrarily hard without exploiting target domain information. To address this issue, test-time adaptive (TTA) methods are proposed. Existing TTA methods require offline target data or extra sophisticated optimization procedures during the inference stage. In this work, we adopt Non-Parametric Classifier to perform the test-time Adaptation (AdaNPC). In particular, we construct a memory that contains the feature and label pairs from training domains. During inference, given a test instance, AdaNPC first recalls K closed samples from the memory to vote for the prediction, and then the test feature and predicted label are added to the memory. In this way, the sample distribution in the memory can be gradually changed from the training distribution towards the test distribution with very little extra computation cost. We theoretically justify the rationality behind the proposed method. Besides, we test our model on extensive numerical experiments. AdaNPC significantly outperforms competitive baselines on various DG benchmarks. In particular, when the adaptation target is a series of domains, the adaptation accuracy of AdaNPC is 50% higher than advanced TTA methods. The code is available at https://github.com/yfzhang114/AdaNPC.

研究の動機と目的

• ドメイン一般化と未知分布に対する頑健性を動機づける。
• テスト時適応のためのメモリ拡張型非パラメトリック手法（AdaNPC）を提案する。
• 非パラメトリック分類器がドメイン分岐とターゲットリスクを低減する方法を理論的に正当化する。
• 複数の DG ベンチマークとさまざまなバックボーンでの実証的な利得を示す。

提案手法

• 同じラベルの特徴を引き寄せ、異なるラベルの特徴を離すような表現を学習する KNN ベースの損失で訓練する（式 4）。
• ソース特徴とラベルのメモリバンク M を構築し、テスト時に最近傍を用いて投票する（式 5）。
• 信頼度が高い場合にテスト特徴と予測ラベルでメモリを更新して memory-based なテスト時適応を実施する。
• 適応中の表現品質を改善するためにBN層を再訓練するオプションを提供。
• 効率のために FIFO ベースのシンプルなメモリ管理と直接的な KNN 探索を実装する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックでメモリベースの分類器は勾配更新を伴わずにテスト時適応を改善し、ドメイン一般化を達成できるか。
• RQ2 オンラインのターゲットサンプルをメモリに取り込むことはターゲットリスクとドメイン分岐にどのような影響を与えるか。
• RQ3 共変量シフトと事後分布シフトに対して KNN ベースの適応に理論的保証は存在するか。
• RQ4 AdaNPC は複数の DG ベンチマークとバックボーンで、連続的なドメイン適応シナリオを含めてどのように性能を示すか。

主な発見

Method	RMNIST	PACS	VLCS	TerraIncognita	DomainNet	Avg
ERM	97.8 ± 0.1	77.6 ± 0.3	86.7 ± 0.3	41.3 ± 0.1	53.0 ± 0.3	71.3
IRM	97.5 ± 0.2	76.9 ± 0.6	84.5 ± 1.1	28.0 ± 5.1	50.5 ± 0.7	67.5
GDRO	97.9 ± 0.1	77.4 ± 0.5	87.1 ± 0.1	33.4 ± 0.3	52.4 ± 0.1	69.6
CORAL	98.0 ± 0.0	77.7 ± 0.2	87.1 ± 0.5	41.8 ± 0.1	52.8 ± 0.2	71.5
DANN	97.9 ± 0.1	79.7 ± 0.5	85.2 ± 0.2	38.3 ± 0.1	50.6 ± 0.4	70.3
MTL	97.9 ± 0.1	77.7 ± 0.5	86.7 ± 0.2	40.8 ± 0.1	52.2 ± 0.4	71.1
SagNet	97.9 ± 0.0	77.6 ± 0.1	86.4 ± 0.4	40.8 ± 0.2	52.5 ± 0.4	71.1
ARM	98.1 ± 0.1	77.8 ± 0.3	85.8 ± 0.2	36.0 ± 0.2	51.2 ± 0.5	69.8
VREx	97.9 ± 0.1	78.1 ± 0.2	87.2 ± 0.6	30.1 ± 3.7	51.4 ± 0.5	68.9
Fish	97.9 ± 0.1	77.8 ± 0.6	85.8 ± 0.6	43.4 ± 0.3	50.8 ± 0.4	71.1
Fishr	97.8 ± 0.1	78.2 ± 0.2	86.9 ± 0.2	41.8 ± 0.2	53.6 ± 0.4	71.7
AdaNPC	98.5 ± 0.1	79.5 ± 2.4	88.8 ± 0.1	42.9 ± 0.5	53.9 ± 0.3	72.7
AdaNPC +BN	98.4 ± 0.1	80.2 ± 0.2	88.9 ± 0.1	43.1 ± 0.8	54.0 ± 0.1	72.9

• AdaNPC は 5 つの OOD ベンチマークにおいて競合的で最先端の DG パフォーマンスを達成している。
• AdaNPC および AdaNPC +BN は多くのベースラインを上回り、平均精度で substantial な向上を示す。
• BN 再訓練はパラメータ更新を最小限に抑えつつ追加の利得を提供する。
• AdaNPC は微調整なしでも強い性能を発揮し、ソースデータセットの規模が拡大してもスケールする。
• 連続適応において、AdaNPC は忘却を大幅に抑制し、ソースドメインの精度を維持する。