[論文レビュー] Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering

Yongyi Su, Xun Xu+1 more|arXiv (Cornell University)|Jun 6, 2022

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

本稿では、テスト時学習（sTTT）におけるドメイン適応を向上させるために、KLダイバージェンス最小化を用いてターゲットドメイン特徴量をソースドメインクラスタに一致させる、Test-Time Anchored Clustering（TTAC）という手法を提案する。TTACは、オンラインクラスタ更新のための指数的移動平均、ノイズ耐性を高めるための疑似ラベルフィルタリング、反復的リファインメントを採用しており、ソース学習目的関数を変更せずに、6つのデータセットにおいて一貫して最先端手法を上回る性能を発揮する。

ABSTRACT

Deploying models on target domain data subject to distribution shift requires adaptation. Test-time training (TTT) emerges as a solution to this adaptation under a realistic scenario where access to full source domain data is not available and instant inference on target domain is required. Despite many efforts into TTT, there is a confusion over the experimental settings, thus leading to unfair comparisons. In this work, we first revisit TTT assumptions and categorize TTT protocols by two key factors. Among the multiple protocols, we adopt a realistic sequential test-time training (sTTT) protocol, under which we further develop a test-time anchored clustering (TTAC) approach to enable stronger test-time feature learning. TTAC discovers clusters in both source and target domain and match the target clusters to the source ones to improve generalization. Pseudo label filtering and iterative updating are developed to improve the effectiveness and efficiency of anchored clustering. We demonstrate that under all TTT protocols TTAC consistently outperforms the state-of-the-art methods on six TTT datasets. We hope this work will provide a fair benchmarking of TTT methods and future research should be compared within respective protocols. A demo code is available at https://github.com/Gorilla-Lab-SCUT/TTAC.

研究の動機と目的

• テスト時学習（TTT）の評価プロトコルに混乱が生じるのを防ぐために、既存手法を2つの主要要因であるソース目的関数の変更の有無と逐次的推論の有無に基づいて分類すること。
• テストサンプルが1件ずつ到着し、即時の推論が求められ、ソースデータへのアクセスやソース学習目的関数の変更が許可されない現実的なsTTTプロトコルを確立すること。
• KLダイバージェンスを用いてターゲットドメインクラスタをソースドメインのカテゴリ別統計に一致させることで、特徴量の一般化を向上させる、テスト時アンカードクラスタリング手法TTACを開発すること。
• 予測の信頼度に基づく疑似ラベルフィルタリングと、メモリ効率の良い指数的移動平均戦略による反復的モデル更新を通じて、耐性と効率性を向上させること。
• TTACが6つのTTTベンチマークデータセットにおいて、sTTTを含むすべてのTTTプロトコルで優れた性能を示すことを実証し、今後の研究においてプロトコルに特化したベンチマーク評価を提唱すること。

提案手法

• TTACはガウス混合モデルを用いてソースおよびターゲットドメインの両方でクラスタを発見し、各成分がクラスに対応する。また、カテゴリ別にソース統計をアンカーとして用いる。
• テスト時最適化中に、ターゲット成分ガウス分布とソースアンカー間のKLダイバージェンスを最小化することで、ターゲットドメインクラスタをソースアンカーに一致させる。
• 新しいテストサンプルが到着する度に、指数的移動平均（EMA）戦略を用いてターゲットクラスタ統計を段階的に更新することで、sTTTプロトコル下でのオンライン学習を実現する。
• 予測信頼度が低いサンプルは破棄されるため、疑似ラベルフィルタリングが実施され、誤った割り当てに起因するノイズが低減され、クラスタ品質が向上する。
• フィルタリング済みのサンプルは成分ガウス分布の更新に使用され、フィルタリングされないサンプルはグローバル特徴量整合性損失に貢献し、有用な情報を保持する。
• ソース目的関数の変更が許可される場合、TTACは対照的学習などの既存のTTT技術と互換性があり、さらなる性能向上が可能となる。

実験結果

リサーチクエスチョン

• RQ1 既存の文献において標準化されたプロトコルが不足している状況下で、テスト時学習はどのように公平に評価できるか？
• RQ2 現実的なテスト時学習プロトコルを区別する上で重要な要因は何であり、それらが手法の性能と再現可能性にどのように影響を与えるか？
• RQ3 ソースドメイン統計を固定アンカーとして用いるアンカードクラスタリングは、ソース学習目的関数を変更せずにテスト時特徴量学習を改善できるか？
• RQ4 予測信頼度に基づく疑似ラベルフィルタリングは、テスト時クラスタリングの耐性と正確性をどのように向上させるか？
• RQ5 反復的更新とサンプルキューの使用は、テスト時適応手法の性能と効率性にどの程度影響を与えるか？

主な発見

• TTACは、CIFAR10-CやImageNet-Cを含む6つのTTTベンチマークデータセットにおいて、sTTTを含むすべてのTTTプロトコルで一貫して最先端手法を上回る性能を発揮した。
• CIFAR10-Cのレベル5のスノー障害条件下で、サンプルキューと4エポックの更新を用いたsTTTにおいて、TTACはトップ1誤差10.88を達成し、TENT（13.87）とSHOT（13.75）を上回った。
• ソースドメインの統計情報が一切ない状況でも、ImageNet-Cでは11.91%の誤差を記録し、すべての競合手法を上回った。これは、最小限の仮定のもとでも強力な一般化性能を示している。
• 分布推定手法（TTACやSHOT）において、テストサンプルキューの維持が性能を顕著に向上させ、更新エポック数を1から4に増やすことで、ImageNet-Cの誤差が11.91%から9.96%に低下した。
• TTACの1サンプルあたりのウォールタイムは、キューなしで0.0083秒、4エポックキュー付きで4096サンプルで0.1524秒であり、BNやTENTと比較してわずかに2倍の遅延で、優れた正確性を実現している。
• アブレーションスタディの結果、サンプルキューと複数エポックの更新が性能向上に不可欠であることが確認され、TTACはすべての設定で一貫した改善を示した。