[論文レビュー] SoTTA: Robust Test-Time Adaptation on Noisy Data Streams

Taesik Gong, Yewon Kim+3 more|arXiv (Cornell University)|Oct 16, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

SoTTA は、高信頼度の一様クラスサンプリングによる入力ごとのフィルタリングとエントロピー・シャープネス最小化によるパラメータごとの安定化を組み合わせることで、ノイジーサンプルの多いデータストリームに対する耐性を向上させる、新しいテスト時適応手法である。ノイズのあるテスト条件下でも最先端の性能を達成しており、CIFAR10-C（ノイズ）で22.3パーセンテージポイントの精度向上を達成し、クリーンな設定ではSOTA性能を同等に維持している。

ABSTRACT

Test-time adaptation (TTA) aims to address distributional shifts between training and testing data using only unlabeled test data streams for continual model adaptation. However, most TTA methods assume benign test streams, while test samples could be unexpectedly diverse in the wild. For instance, an unseen object or noise could appear in autonomous driving. This leads to a new threat to existing TTA algorithms; we found that prior TTA algorithms suffer from those noisy test samples as they blindly adapt to incoming samples. To address this problem, we present Screening-out Test-Time Adaptation (SoTTA), a novel TTA algorithm that is robust to noisy samples. The key enabler of SoTTA is two-fold: (i) input-wise robustness via high-confidence uniform-class sampling that effectively filters out the impact of noisy samples and (ii) parameter-wise robustness via entropy-sharpness minimization that improves the robustness of model parameters against large gradients from noisy samples. Our evaluation with standard TTA benchmarks with various noisy scenarios shows that our method outperforms state-of-the-art TTA methods under the presence of noisy samples and achieves comparable accuracy to those methods without noisy samples. The source code is available at https://github.com/taeckyung/SoTTA .

研究の動機と目的

• 実世界のデータストリームにおけるノイズや分布外のサンプルに直面した際、既存のテスト時適応（TTA）手法に見られる耐性の欠如を是正すること。
• 多様で予期しないテスト時の劣化や異常が生じる状況下でも高い精度を維持できるTTAフレームワークの開発。
• 訓練データへのアクセスなしに、実世界の展開におけるプライバシー制約やリソース制約に適合した、モデルの適応を可能にすること。
• ノイジーサンプルの多いテスト時シナリオに特化した、入力ごとのフィルタリングとパラメータごとの安定化の二重の耐性メカニズムの導入。

提案手法

• 高信頼度一様クラスサンプリング（HUS）は、モデル更新に使用するサンプルとして、信頼度が高くクラス分布が一様なサンプルのみを選択することで、ノイズの多いテストサンプルをフィルタリングする。
• エントロピー・シャープネス最小化（ESM）は、ノイズの多いサンプルから生じる大きな勾配によるモデルのずれを低減するために、損失関数の滑らかさを向上させる。
• HUS により、信頼性が高く悪意のないサンプルのみがパラメータ更新に寄与し、外れ値の影響が低減される。
• ESM は損失関数のシャープネスを最小化することで、ノイズの多い入力からの勾配摂動に対して耐性を持つパラメータを正則化する。
• 本手法はオンラインかつ訓練データへのアクセスなしに動作するため、一般的なTTAの制約を満たしている。
• SoTTA は、CIFAR10-C、CIFAR100-C、ImageNet-C の3つのデータセットに対して、4つのノイズ状況（Near、Far、Attack、Noise）で評価されている。

実験結果

リサーチクエスチョン

• RQ1 実世界のデータストリームにおけるノイズや分布外のテストサンプルにさらされた際、既存のTTA手法はどの程度の性能を示すか？
• RQ2 訓練データやバッチレベルのアクセスなしに、テスト時適応手法をノイズの多い入力に対して耐性を持たせることは可能か？
• RQ3 オンライン適応中に、効果的にノイズの多いサンプルをフィルタリングし、モデルパラメータを安定化するメカニズムは何か？
• RQ4 入力ごとの耐性とパラメータごとの耐性が共同で作用することで、分布シフト下でのTTA性能はどの程度向上するか？

主な発見

• SoTTA は、CIFAR10-C における最も強いノイズシフト（Noise）条件下で 80.0% の精度を達成し、ベースラインのTTA手法よりも22.3パーセンテージポイントの向上を実現した。
• ノイズ状況下では、最良のベースライン（RoTTA）を 6.4 パーセンテージポイント上回り、81.5% の精度を達成した。
• クリーンな設定（ノイズなし）では、SOTAのTTA手法と同等の性能を維持し、CIFAR10-C で 82.1% の精度を達成し、最良のベースラインと同等の性能を示した。
• Near、Far、Attack、Noise の4つのノイズ状況すべてで一貫した向上を示し、多様な分布シフト下でも耐性があることを裏付けた。
• アブレーションスタディの結果、HUS と ESM の両方が耐性向上に顕著な寄与をしていることが確認され、HUS はノイズの影響を低減し、ESM はパラメータ更新の安定性を高めている。
• TTA にOOD検出（例：ODIN）を適用することは、しきい値のハイパーパrameterに非常に敏感であり、性能向上も限定的であるため実用的でないことが判明した。これにより、SoTTA の統合的アプローチの必要性が裏付けられた。