[論文レビュー] DELTA: degradation-free fully test-time adaptation

Bowen Zhao, Chen Chen+1 more|arXiv (Cornell University)|Jan 30, 2023

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

DELTAは、劣化のない完全なテスト時適応のためのプラグインソリューションを提案し、従来の手法の2つの主要な欠陥である不正確な正規化統計とクラスに偏った最適化を解決する。Test-time Batch Renormalization (TBR) を導入して特徴の正規化を改善し、Dynamic Online Re-weighting (DOT) を用いて支配的クラスへの偏りを軽減することで、クラスの不均衡や依存するデータストリームを含む多様なテスト環境において最先端の性能を達成する。

ABSTRACT

Fully test-time adaptation aims at adapting a pre-trained model to the test stream during real-time inference, which is urgently required when the test distribution differs from the training distribution. Several efforts have been devoted to improving adaptation performance. However, we find that two unfavorable defects are concealed in the prevalent adaptation methodologies like test-time batch normalization (BN) and self-learning. First, we reveal that the normalization statistics in test-time BN are completely affected by the currently received test samples, resulting in inaccurate estimates. Second, we show that during test-time adaptation, the parameter update is biased towards some dominant classes. In addition to the extensively studied test stream with independent and class-balanced samples, we further observe that the defects can be exacerbated in more complicated test environments, such as (time) dependent or class-imbalanced data. We observe that previous approaches work well in certain scenarios while show performance degradation in others due to their faults. In this paper, we provide a plug-in solution called DELTA for Degradation-freE fuLly Test-time Adaptation, which consists of two components: (i) Test-time Batch Renormalization (TBR), introduced to improve the estimated normalization statistics. (ii) Dynamic Online re-weighTing (DOT), designed to address the class bias within optimization. We investigate various test-time adaptation methods on three commonly used datasets with four scenarios, and a newly introduced real-world dataset. DELTA can help them deal with all scenarios simultaneously, leading to SOTA performance.

研究の動機と目的

• 既存の完全なテスト時適応手法における2つの重要な欠陥、すなわち不正確な正規化統計と推論時のクラスに偏った最適化を特定・是正すること。
• クラスの不均衡や時間的に依存するデータストリームを含む多様なテスト環境において、適応のロバスト性を向上させること、既存手法が顕著に性能を落とす状況をカバーすること。
• 再トレーニングや追加の計算負荷を必要とせず、既存のテスト時適応フレームワークと互換性を持つプラグインソリューションを開発すること。
• 独立および依存、クラスバランスありおよび不均衡なテスト分布を含む複数のベンチマークシナリオにおいて一貫した性能向上を達成すること。
• リアルタイムのモデル適応における正規化安定性と最適化の公平性を向上させる統合的で汎用的なソリューションを提供すること。

提案手法

• Test-time Batch Renormalization (TBR) は、テスト時の特徴の移動平均を用いて正規化を補正し、推論中に正規化をキャリブレーションすることで、不正確なバッチ正規化統計を是正する。
• TBR は正規化された特徴を勾配計算に統合し、標準のテスト時BNよりもより正確で安定した統計に基づいた最適化を保証する。
• Dynamic Online Re-weighting (DOT) は、モーメンタム更新された頻度ベクトルに基づいて、適応中にクラスウェイトを動的に調整するコストセンシティブ学習を適用する。
• DOT は事前学習モデル、現在のテストストリーム、および適応手法自体からのバイアス信号を統合し、支配的クラスへの過剰適合を低減する。
• 本手法はプラグインとして設計されており、TBR は再トレーニングを必要とせず任意のBNベースのモデルに適用可能であり、DOT はTENT やエントロピー最小化などの既存の適応技術と簡単に統合可能である。
• フレームワークはCIFAR100-CおよびImageNet-C上で4つのテストシナリオ—クラスバランスあり/独立、クラスバランスあり/依存、クラス不均衡あり/独立、クラス不均衡あり/依存—に対して評価されている。

実験結果

リサーチクエスチョン

• RQ1 なぜ既存のテスト時適応手法は、クラス不均衡や依存するデータストリームのような複雑なテスト環境で性能が低下するのか？
• RQ2 テスト時バッチ正規化における不正確な正規化が、モデルの性能と一般化能力にどのように影響するのか？
• RQ3 テスト時適応の過程で、最適化がどの程度支配的クラスに偏っているのか、またそのバイアスは異なるデータ分布でどのように変化するのか？
• RQ4 統合的でプラグイン可能なソリューションが、多様なテスト時シナリオにおいて正規化の正確性と最適化の公平性を同時に向上させられるか？
• RQ5 TBRとDOTを組み合わせることで、完全なテスト時適応における最先端の性能にどの程度の影響を与えるのか？

主な発見

• DELTA はCIFAR100-Cの全4つのテストシナリオで最先端の性能を達成し、ベースライン手法比で10.0～15.0パーセンテージポイントの精度向上を達成した。
• ImageNet-CのDS+CI（ρ=0.5, π=0.1）シナリオにおいて、TENT+DELTAは平均42.2%の精度を達成し、TENT（22.4%）およびTENT+TBR（39.3%）を顕著に上回った。
• Ent-W+DELTA はDS+CI（ρ=0.5, π=0.05）で平均45.3%の精度を達成したのに対し、Ent-W単体では10.7%にとどまり、困難な環境下での顕著な向上が確認された。
• アブレーションスタディにより、TBRとDOTが性能向上に独立して寄与することが確認された：TBRは正規化安定性を向上させ、DOTは最適化におけるクラスバイアスを低減した。
• DS+CI（ρ=0.5, π=0.1）シナリオにおいて、PL+DELTAは平均38.8%の精度を達成し、PL単体の23.0%から15.8ポイントの向上を示し、クラス不均衡環境下でのロバストネスを示した。
• DELTA は、時間的依存性やクラス不均衡を伴うすべてのテスト環境において一貫して性能を向上させ、従来手法が著しく劣化する状況でも優れた性能を発揮した。