[論文レビュー] Continual Test-Time Domain Adaptation

Qin Wang, Olga Fink+2 more|arXiv (Cornell University)|Mar 25, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、非定常環境における誤差蓄積および深刻な忘却を軽減するため、重み平均化および増幅平均化された偽ラベルを用いて予測品質を向上させるとともに、ネットワーク重みの一部を確率的に元の事前学習済み値に復元することで過去の知識を保持する、継続的テスト時ドメイン適応手法CoTTAを提案する。CoTTAは、4つの分類および1つのセグメンテーションベンチマークで最先端性能を達成し、ImageNet-CではTENTより3.5ポイントの誤差率低減（63.0% vs. 66.5%）を達成し、Cityscapes-to-ACDCでは1.9%のmIoU向上を示した。

ABSTRACT

Test-time domain adaptation aims to adapt a source pre-trained model to a target domain without using any source data. Existing works mainly consider the case where the target domain is static. However, real-world machine perception systems are running in non-stationary and continually changing environments where the target domain distribution can change over time. Existing methods, which are mostly based on self-training and entropy regularization, can suffer from these non-stationary environments. Due to the distribution shift over time in the target domain, pseudo-labels become unreliable. The noisy pseudo-labels can further lead to error accumulation and catastrophic forgetting. To tackle these issues, we propose a continual test-time adaptation approach~(CoTTA) which comprises two parts. Firstly, we propose to reduce the error accumulation by using weight-averaged and augmentation-averaged predictions which are often more accurate. On the other hand, to avoid catastrophic forgetting, we propose to stochastically restore a small part of the neurons to the source pre-trained weights during each iteration to help preserve source knowledge in the long-term. The proposed method enables the long-term adaptation for all parameters in the network. CoTTA is easy to implement and can be readily incorporated in off-the-shelf pre-trained models. We demonstrate the effectiveness of our approach on four classification tasks and a segmentation task for continual test-time adaptation, on which we outperform existing methods. Our code is available at \url{https://qin.ee/cotta}.

研究の動機と目的

• ドメイン分布が時間とともに変化し続ける非定常環境において、既存のテスト時ドメイン適応手法の不安定性を解消すること。
• ストリーミングテストデータにおける分布シフトに起因するノイズが多く、校正が不適切な偽ラベルが原因となる誤差蓄積を低減すること。
• ソースデータへのアクセスが不可能な状況下で、長期間にわたるオンライン適応中にソース知識の深刻な忘却を防ぐこと。
• 再訓練を伴わず、ラベルなしのターゲットデータのみを用いて、バッチノーマライゼーション統計値以外のすべてのネットワークパラメータを継続的に適応可能にすること。
• 再訓練なしで、市販の事前学習済みモデルと互換性を持つ、即挿し可能な手法を設計すること。

提案手法

• 誤差蓄積を低減するため、アンサンブルに類似した予測安定性を実現するため、モーメンタム平均化された教師ネットワークを用いてより正確な偽ラベルを生成する。
• ドメインギャップが大きいサンプルに対しては、増幅平均化された予測を適用し、困難なテスト状況下でも偽ラベルの品質をさらに向上させる。
• 確率的重み復元を導入し、ネットワークニューロンの小さな一部を定期的に元のソース事前学習済み重みにリセットすることで、ソース知識の保持を図る。
• 両方の戦略を統合した1つのオンライン学習フレームワークを構築し、ラベルなしのターゲットデータのみを用いてモデルパラメータをリアルタイムで更新する。
• アーキテクチャの変更なしに、重み平均化と増幅平均化を統合するシンプルで効果的な学習ループを採用する。
• 特定のレイヤー（例：バッチノーマライゼーション）に依存しないため、トランスフォーマーやLayerNormを備えたモデルを含む多様なアーキテクチャに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 テスト時ドメイン適応における自己学習手法は、継続的かつ非定常なドメインシフトの下でも安定性を保てるか？
• RQ2 時間の経過に伴いドメインギャップが拡大する状況下で、偽ラベルの品質をどのように向上させられるか？
• RQ3 長期間にわたるオンライン適応中に、ソース知識の深刻な忘却を効果的に防ぐメカニズムは何か？
• RQ4 ソースデータへのアクセスなしに、すべてのネットワークパラメータを適応可能な即挿し可能な手法を設計できるか？
• RQ5 提案手法は、セグメンテーションや複雑なアーキテクチャを含む多様なベンチマークでどのように性能を発揮するか？

主な発見

• Severity level 5のImageNet-to-ImageNet-Cにおいて、CoTTAは平均誤差率63.0% ± 1.8を達成し、TENT（66.5%）を3.5ポイント上回った。
• ImageNet-Cにおける段階的劣化設定では、CoTTAは誤差率を10.4%に低減したのに対し、TENTは30.7%であった。これは、ゆっくりとした分布シフトに対しても頑健であることを示している。
• CIFAR100-to-CIFAR100Cでは、BN stats adaptより2.9%の向上を達成し、時間の経過とともに性能の維持・向上を示しており、効果的な長期学習が可能であることを裏付けている。
• セマンティックセグメンテーションのCityscapes-to-ACDCでは、CoTTAは58.6%のmIoUを達成し、ベースラインより1.9%の絶対的向上を示した。TENTおよびBN stats adaptを上回る性能を発揮した。
• Segformer（LayerNorm搭載）を含む多様なアーキテクチャでも有効であるため、バッチノーマライゼーションを備えたモデルに限定されないことが示された。
• 性能向上は時間の経過とともに増幅する傾向を示しており、CoTTAが過去のラベルなしデータを効果的に活用して現在の予測を改善していることが裏付けられた。