[論文レビュー] NOTE: Robust Continual Test-time Adaptation Against Temporal Correlation

Taesik Gong, Jongheon Jeong+4 more|arXiv (Cornell University)|Aug 10, 2022

Domain Adaptation and Few-Shot Learning被引用数 30

ひとこと要約

NOTE は Instance-Aware Batch Normalization (IABN) と Prediction-balanced Reservoir Sampling (PBRS) を導入し、非i.i.d.、時系列相関データストリーム下でのロバストなテスト時適応を実現し、特に非i.i.d. 設定でベースラインを上回る。

ABSTRACT

Test-time adaptation (TTA) is an emerging paradigm that addresses distributional shifts between training and testing phases without additional data acquisition or labeling cost; only unlabeled test data streams are used for continual model adaptation. Previous TTA schemes assume that the test samples are independent and identically distributed (i.i.d.), even though they are often temporally correlated (non-i.i.d.) in application scenarios, e.g., autonomous driving. We discover that most existing TTA methods fail dramatically under such scenarios. Motivated by this, we present a new test-time adaptation scheme that is robust against non-i.i.d. test data streams. Our novelty is mainly two-fold: (a) Instance-Aware Batch Normalization (IABN) that corrects normalization for out-of-distribution samples, and (b) Prediction-balanced Reservoir Sampling (PBRS) that simulates i.i.d. data stream from non-i.i.d. stream in a class-balanced manner. Our evaluation with various datasets, including real-world non-i.i.d. streams, demonstrates that the proposed robust TTA not only outperforms state-of-the-art TTA algorithms in the non-i.i.d. setting, but also achieves comparable performance to those algorithms under the i.i.d. assumption. Code is available at https://github.com/TaesikGong/NOTE.

研究の動機と目的

• ラベルなしのテストストリーム上でモデルを適応させることにより、訓練とテスト間の分布シフトをラベルなしで解決する。
• 現実世界のシナリオで一般的な非i.i.d.、時系列に相関のあるテストデータ（例：自動運転、HAR）に対処する。
• 時系列パターンへ過剰適合を防ぎつつターゲットドメインへ適応する正規化およびデータ管理技術を開発する。
• 提案手法がi.i.d.条件下でも競争力を維持し、非i.i.d. 条件下で強い利得を提供することを示す。

提案手法

• Instance-Aware Batch Normalization (IABN) を提案し、Batch Normalization を per-instance statistics と組み合わせて out-of-distribution samples の正規化を補正する。
• BN 統計量をインスタンスごとの平均と分散を用いたソフト閾値補正を導入。
• ハイパーパラメータ alpha を定義し、BN とインスタンス統計量への依存を制御する（実験では set to 4）。
• Prediction-Balanced Reservoir Sampling (PBRS) を提案し、時系列一様のリザーバサンプリングと予測バランスのクラスバランスにより非i.i.d. ストリームから i.i.d.-like data を模擬する。
• Normalization statistics と affine BN パラメータの更新のためのサンプルメモリを保存し、エントロピー最小化を通じて更新。
• 推論はバッチフリーで、インスタンスごとに単一のフォワードパスのみを要する。適応は N サンプルごとにメモリを用いて BN 統計を更新（N=64）。
• メモリオーバーヘッドは negligible (≈0.02% of parameters in ResNet18) で、コードはオンラインで利用可能。

実験結果

リサーチクエスチョン

• RQ1 テスト時適応を非i.i.d., 時系列相関のあるテストストリームに対して頑健にするにはどうすればよいか？
• RQ2 IABN と PBRS は非i.i.d. テストデータ下で最先端の TTA 手法と比べて性能を改善するか？
• RQ3 時系列相関の程度とバッチサイズが TTA の性能に与える影響は？
• RQ4 NOTE は i.i.d. 条件下でも競争力を維持しつつ非 i.i.d. 条件で卓越できるか？

主な発見

方法	CIFAR10-C	CIFAR100-C	ImageNet-C	Avg
Source	42.3 ± 1.1	66.6 ± 0.1	86.1 ± 0.0	65.0
BN Stats [29]	73.4 ± 1.3	65.0 ± 0.3	96.9 ± 0.0	78.5
ONDA [27]	63.6 ± 1.0	49.6 ± 0.3	89.0 ± 0.0	67.4
PL [22]	75.4 ± 1.8	66.4 ± 0.4	98.9 ± 0.0	80.2
TENT [41]	76.4 ± 2.7	66.9 ± 0.6	96.9 ± 0.0	80.1
LAME [4]	36.2 ± 1.3	63.3 ± 0.3	82.7 ± 0.0	60.7
CoTTA [44]	75.5 ± 0.7	64.2 ± 0.2	97.0 ± 0.0	78.9
NOTE	21.1 ± 0.6	47.0 ± 0.1	80.6 ± 0.1	49.6

• NOTE は非i.i.d. テストストリームの下でベースラインを大幅に上回る（例：CIFAR10-C: 21.1% の平均エラー低減 vs 最良ベースライン）。
• i.i.d. 条件では NOTE は競争力のある性能を発揮（例：CIFAR10-C: 17.6% エラー vs 17.8% を最良ベースライン）。
• アブレーションでは IABN のみでエラーを大幅に減少させ、PBRS は正規化統計の推定を改善し、IABN と組み合わせると最良の結果を得る。
• 結合 IABN+PBRS はいずれかのコンポーネント単独よりも上回り、正規化補正とバランスデータサンプリングの相乗効果を示す。
• 実世界のストリーム（KITTI, HARTH, ExtraSensory）では、NOTE は適応後にベースラインより一貫してエラーを削減。