[論文レビュー] Test-Time Adaptation via Self-Training with Nearest Neighbor Information

Minguk Jang, Sae-Young Chung+1 more|arXiv (Cornell University)|Jul 8, 2022

Image Enhancement Techniques被引用数 12

ひとこと要約

本稿では、最近傍情報を利用してより信頼性の高い偽ラベルを生成することで自己訓練を改善する、テスト時適応手法TASTを提案する。これらの近傍ベースの偽ラベルを用いて、テスト時においてランダムに初期化された複数の適応モジュールを訓練し、その予測を平均化することで、TASTはドメイン一般化（VLCS、PACS、OfficeHome、TerraIncognita）および画像劣化ベンチマーク（CIFAR-10/100C）で最先端の性能を達成し、T3A や TENT などの先行手法を上回る。

ABSTRACT

Test-time adaptation (TTA) aims to adapt a trained classifier using online unlabeled test data only, without any information related to the training procedure. Most existing TTA methods adapt the trained classifier using the classifier's prediction on the test data as pseudo-label. However, under test-time domain shift, accuracy of the pseudo labels cannot be guaranteed, and thus the TTA methods often encounter performance degradation at the adapted classifier. To overcome this limitation, we propose a novel test-time adaptation method, called Test-time Adaptation via Self-Training with nearest neighbor information (TAST), which is composed of the following procedures: (1) adds trainable adaptation modules on top of the trained feature extractor; (2) newly defines a pseudo-label distribution for the test data by using the nearest neighbor information; (3) trains these modules only a few times during test time to match the nearest neighbor-based pseudo label distribution and a prototype-based class distribution for the test data; and (4) predicts the label of test data using the average predicted class distribution from these modules. The pseudo-label generation is based on the basic intuition that a test data and its nearest neighbor in the embedding space are likely to share the same label under the domain shift. By utilizing multiple randomly initialized adaptation modules, TAST extracts useful information for the classification of the test data under the domain shift, using the nearest neighbor information. TAST showed better performance than the state-of-the-art TTA methods on two standard benchmark tasks, domain generalization, namely VLCS, PACS, OfficeHome, and TerraIncognita, and image corruption, particularly CIFAR-10/100C.

研究の動機と目的

• ドメインシフト下で不正確な偽ラベルが原因で生じるテスト時適応（TTA）の性能低下を是正すること。
• 自己訓練に基づくTTA手法がモデルの予測にのみ依存するため生じる確認バイアスを克服すること。
• ラベルなしのテストデータが利用可能なゼロショットドメイン適応状況におけるロバスト性と精度を向上させること。
• 埋め込み空間における最近傍情報を利用することで、分類器の一般化を向上させる、シンプルかつ効果的なTTA手法を開発すること。

提案手法

• 事前学習済み特徴抽出器の上に、テスト時にランダムに初期化されるトレーニング可能な適応モジュールを導入する。
• 埋め込み空間における最近傍のラベルに基づいて、テストサンプルの新しい偽ラベル分布を定義する。
• 適応モジュールを、近傍ベースの偽ラベルとテストデータから導出されたクラスプロトタイプの両方に出力分布を一致させるコントラスト型の目的関数を用いて訓練する。
• 複数の独立して訓練された適応モジュールのアンサンブル平均を用いて最終予測を生成することで、分散を低減し、ロバスト性を向上させる。
• 適応モジュールの出力に、クラス固有のプロトタイプを用いたプロトタイプベースの分類ヘッドを適用し、予測を精緻化する。
• 推論中に過学習を避けるために、適応のための訓練を数エポックのみに制限する。

実験結果

リサーチクエスチョン

• RQ1 埋め込み空間における最近傍情報は、テスト時適応における偽ラベルの信頼性を向上させることができるか？
• RQ2 ランダムに初期化された複数の適応モジュールを用いることで、自己訓練ベースのTTAにおける確認バイアスを緩和できるか？
• RQ3 ドメインシフト下でのロバスト性という観点から、近傍ベースの偽ラベルと予測ベースの偽ラベルの性能はどのように異なるか？
• RQ4 近傍情報を反映した偽ラベルに基づいて学習されたプロトタイプベース分類器は、標準的な自己訓練やT3Aよりも優れた性能を達成できるか？
• RQ5 適応エポック数の変化が、TTA手法の最終的な精度と安定性に与える影響は何か？

主な発見

• TASTはドメイン一般化のためのVLCS、PACS、OfficeHome、TerraIncognitaベンチマークで最先端の性能を達成し、T3A や他のSOTA TTA手法を上回った。
• CIFAR-10/100Cの高劣化設定下では、TAST-BN（バッチ正規化適応を追加したバージョン）が平均誤差率を最低に抑え、TENT や TTT++ を上回った。
• OfficeHomeベンチマークでは、20エポックの適応でTASTが平均精度63.70%を達成し、ERMベースラインの62.10%とT3Aの63.21%を上回った。
• TerraIncognitaでは、20エポックの適応でTASTが平均精度42.64%を達成し、ERMベースライン（40.62%）とT3A（40.20%）を著しく上回った。
• アブレーションスタディの結果、最近傍ベースの偽ラベルを用いることで、予測ベースの偽ラベルに比べてより安定的かつ正確な適応が可能であることが確認された。
• TAST-BNは、さらにバッチ正規化統計を適応させるため、CIFAR-10/100Cで最高の性能を達成した。これは、最近傍ベースの偽ラベルと正規化適応を組み合わせることが非常に有効であることを示している。