[論文レビュー] DomainAdaptor: A Novel Approach to Test-time Adaptation

Jian Zhang, Lei Qi+2 more|arXiv (Cornell University)|Aug 20, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

DomainAdaptorは、テスト時適応のための新しい手法を提案する。この手法は、AdaMixBNを用いて学習済み（ソース）バッチ統計と現在のテストバッチ統計を動的に融合し、一般化エントロピー最小化（GEM）損失を最適化することで、再訓練を必要とせずにラベルなしテストデータを有効に活用する。4つのベンチマークで最先端の性能を達成し、特に少数ショットの未知ドメイン設定で顕著な優位性を示す。

ABSTRACT

To deal with the domain shift between training and test samples, current methods have primarily focused on learning generalizable features during training and ignore the specificity of unseen samples that are also critical during the test. In this paper, we investigate a more challenging task that aims to adapt a trained CNN model to unseen domains during the test. To maximumly mine the information in the test data, we propose a unified method called DomainAdaptor for the test-time adaptation, which consists of an AdaMixBN module and a Generalized Entropy Minimization (GEM) loss. Specifically, AdaMixBN addresses the domain shift by adaptively fusing training and test statistics in the normalization layer via a dynamic mixture coefficient and a statistic transformation operation. To further enhance the adaptation ability of AdaMixBN, we design a GEM loss that extends the Entropy Minimization loss to better exploit the information in the test data. Extensive experiments show that DomainAdaptor consistently outperforms the state-of-the-art methods on four benchmarks. Furthermore, our method brings more remarkable improvement against existing methods on the few-data unseen domain. The code is available at https://github.com/koncle/DomainAdaptor.

研究の動機と目的

• 再訓練を必要とせずにラベルなしテストデータを活用することで、テスト時適応におけるドメインシフトを緩和すること。
• ドメインギャップが大きい場合に生じるバッチ正規化統計の不正確な推定を克服すること。
• 通常のエントロピー最小化で無視されがちな、ラベルなしテストサンプルにおける信頼性の高い予測を活用することで適応性能を向上させること。
• あらゆる事前学習済みCNNモデルと互換性を持たせ、ソースデータへのアクセスなしに完全なテスト時適応を可能にする手法を設計すること。
• 微調整後の重み不一致による適応正規化層の性能低下を軽減すること。

提案手法

• AdaMixBNは、学習可能な混合係数を用いて事前学習済み（ソース）統計と現在のテストバッチ統計を動的にブレンドし、ドメインシフト下でも正規化の正確性を向上させる。
• 統計変換処理により、微調整前にソース統計をアフィンパラメータに変換することで、重み不一致による性能低下を防止する。
• 一般化エントロピー最小化（GEM）損失は温度スケーリングを用いて予測確率をなめらかにし、信頼性の高いサンプルに対してより大きな勾配を生成することで学習を強化する。
• GEM損失は従来のエントロピー最小化を拡張したもので、通常は無視されがちな高信頼度予測に注目する。
• この手法はテストバッチのみに作用し、ソースデータやモデルの再訓練を一切必要とせず、プラグアンドプレイの展開が可能である。
• このアプローチは、バッチ正規化層のみを微調整しながら、任意の事前学習済みCNNにエンドツーエンドで適用可能である。

実験結果

リサーチクエスチョン

• RQ1 大きなドメインシフト下でも、ソースバッチ統計とテストバッチ統計の適応的融合が正規化の正確性を向上させるか？
• RQ2 信頼度の高い予測に注目する一般化エントロピー最小化損失が、従来のエントロピー最小化よりもテスト時適応で優れた性能を発揮するか？
• RQ3 統計変換処理により、微調整中の適応正規化層の性能低下を防止できるか？
• RQ4 回転やジグソーといった既存の自己教師付き損失と比較して、DomainAdaptorはテスト時適応においてどれほど効果的か？
• RQ5 DomainAdaptorは、特に低データ環境下でも多様なドメイン一般化ベンチマークで一貫した向上を達成できるか？

主な発見

• データオーグメンテーションを用いたPACSデータセットでは、DomainAdaptorが96.41%のトップ1正解率を達成し、前回SOTA手法（85.89%）を大きく上回った。
• VLCSベンチマークでは、ベースラインの75.77%から78.50%へと正解率が向上し、ドメイン間での強力な一般化性能を示した。
• 少数データの未知ドメイン設定では、既存手法と比較して最も顕著な向上を示し、低データ環境下での有効性を裏付けた。
• アブレーションスタディの結果、学習可能な混合係数α（1−αではなく）を用いることで顕著な性能向上が得られ、類似度ベースのミキシング戦略の有効性が検証された。
• 回転やジグソーといった自己教師付き損失と比較すると、DomainAdaptorは平均正解率で2.0%高い（74.60% vs. 71.75%）結果を達成し、優れた最適化戦略であることが証明された。
• 複数の事前学習済みSOTAモデル（例：MVRML）に対しても一貫した性能向上が得られ、PACSデータセットでは再訓練なしに85.89%から88.12%へと正解率が向上した。