[論文レビュー] Robust Mean Teacher for Continual and Gradual Test-Time Adaptation

Mario Döbler, Robert A. Marsden+1 more|arXiv (Cornell University)|Nov 23, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、対称交差エントロピー損失とコントラスト学習を用いて継続的・段階的なドメインシフト適応を改善する、新しいテスト時適応手法であるRobust Mean Teacher (RMT)を提案する。RMTは、CIFAR10C、CIFAR100C、ImageNet-C、ImageNet-R、および新しい継続的DomainNet-126ベンチマークにおいて、ソースフリーおよびソースアクセス可能な設定の両方で最先端の性能を達成し、顕著な誤差低減を実現した。

ABSTRACT

Since experiencing domain shifts during test-time is inevitable in practice, test-time adaption (TTA) continues to adapt the model after deployment. Recently, the area of continual and gradual test-time adaptation (TTA) emerged. In contrast to standard TTA, continual TTA considers not only a single domain shift, but a sequence of shifts. Gradual TTA further exploits the property that some shifts evolve gradually over time. Since in both settings long test sequences are present, error accumulation needs to be addressed for methods relying on self-training. In this work, we propose and show that in the setting of TTA, the symmetric cross-entropy is better suited as a consistency loss for mean teachers compared to the commonly used cross-entropy. This is justified by our analysis with respect to the (symmetric) cross-entropy's gradient properties. To pull the test feature space closer to the source domain, where the pre-trained model is well posed, contrastive learning is leveraged. Since applications differ in their requirements, we address several settings, including having source data available and the more challenging source-free setting. We demonstrate the effectiveness of our proposed method 'robust mean teacher' (RMT) on the continual and gradual corruption benchmarks CIFAR10C, CIFAR100C, and Imagenet-C. We further consider ImageNet-R and propose a new continual DomainNet-126 benchmark. State-of-the-art results are achieved on all benchmarks.

研究の動機と目的

• 長時間のテストシーケンスにおける継続的・段階的テスト時適応（TTA）における誤差蓄積を解消すること。
• 特に段階的または困難度が増すドメインシフトの状況において、モデルのロバスト性を向上させること。
• ソースアクセス可能およびソースフリーの両設定で効果的なフレームワークを開発すること。
• テスト時自己学習におけるMean Teacherベースのアプローチにおいて、標準交差エントロピーに比べて対称交差エントロピーが優れていることを示すこと。

提案手法

• 標準交差エントロピーに比べて優れた勾配特性を示すとして、対称交差エントロピー（SCE）を一貫性損失として用いるMean Teacherフレームワークを提案する。
• テスト時の特徴をソースドメイン空間に一致させるために、マルチビュー型コントラスト学習損失を導入し、特徴の不変性を向上させる。
• 順次的適応中に誤差蓄積を抑えるために、モーメンタム更新を用いた教師ネットワークを採用する。
• 学習率を線形にスケーリングすることで、ソースデータに対するウォームアップ段階を導入し、初期適応の安定性を向上させる。
• ソースフリーおよびソースアクセス可能な両設定をサポートし、さらに性能向上を図るためにソースリプレイを用いる。
• バッチ正規化統計の安定化と勾配ノイズの低減を目的として、1サンプル用のテスト時適応にスライディングウィンドウ機構を適用する。

実験結果

リサーチクエスチョン

• RQ1 Mean Teacherベースのテスト時適応において、対称交差エントロピーは標準交差エントロピーに比べて一貫性損失として優れているか？
• RQ2 先行の最先端手法と比較して、本手法は継続的・段階的なドメインシフト条件下でどのように性能を発揮するか？
• RQ3 長期間にわたる非ステーショナリなテストシーケンスにおいて、コントラスト学習はテスト特徴をソースドメイン空間に効果的に引き寄せられるか？
• RQ4 ソースフリーTTA設定において、少量のソースデータへのアクセスが性能にどのように影響するか？
• RQ5 低から高の深刻度のノイズレベルへの段階的困難度上昇に対して、本手法はロバストか？

主な発見

• ImageNet-Cにおいて、容易から困難への継続的シーケンスでは、困難から容易へのシーケンスと比較して12%低い誤差率を達成し、困難度上昇シフトにおいても強力な性能を示した。
• 新しい継続的DomainNet-126ベンチマークでは、RMTが新たな最先端性能を樹立し、ソースアクセス可能な設定およびソースフリー設定の両方で先行手法を上回った。
• ウィンドウサイズ16を用いることで、RMTは1サンプルTTAにおいて平均誤差40.9%を達成し、バッチ設定の最先端手法を上回った。
• Mean Teacherフレームワークにおいて、対称交差エントロピー損失を用いることで、標準交差エントロピーと比較して誤差が18.3%以上低減した。
• ソースデータの1%をリプレイするだけで顕著な性能向上が得られ、特に複数回の更新ステップを用いる場合に顕著であった。
• アブレーションスタディの結果、SCE損失、コントラスト学習、ウォームアップ、ソースリプレイの各要素が最終性能に顕著な寄与をしていることが確認された。