[論文レビュー] Test-time Batch Statistics Calibration for Covariate Shift

Fuming You, Jingjing Li+1 more|arXiv (Cornell University)|Oct 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 61被引用数 23

ひとこと要約

本稿では、分布シフトの影響を軽減しつつ判別性の高い特徴構造を維持するため、バッチ正則化層でソースおよびターゲットの統計をブレンドするテスト時バッチ統計キャリブレーション手法α-BNを提案する。この手法は、トレーニングなしで画像分類、セマンティックセグメンテーション、およびノイズ耐性の3分野にまたがる12のデータセットで最先端の性能を達成し、GTA5→Cityscapesの設定でmIoUを15.5%向上（43.9%から59.4%）した。

ABSTRACT

Deep neural networks have a clear degradation when applying to the unseen environment due to the covariate shift. Conventional approaches like domain adaptation requires the pre-collected target data for iterative training, which is impractical in real-world applications. In this paper, we propose to adapt the deep models to the novel environment during inference. An previous solution is test time normalization, which substitutes the source statistics in BN layers with the target batch statistics. However, we show that test time normalization may potentially deteriorate the discriminative structures due to the mismatch between target batch statistics and source parameters. To this end, we present a general formulation $α$-BN to calibrate the batch statistics by mixing up the source and target statistics for both alleviating the domain shift and preserving the discriminative structures. Based on $α$-BN, we further present a novel loss function to form a unified test time adaptation framework Core, which performs the pairwise class correlation online optimization. Extensive experiments show that our approaches achieve the state-of-the-art performance on total twelve datasets from three topics, including model robustness to corruptions, domain generalization on image classification and semantic segmentation. Particularly, our $α$-BN improves 28.4\% to 43.9\% on GTA5 $ ightarrow$ Cityscapes without any training, even outperforms the latest source-free domain adaptation method.

研究の動機と目的

• テスト時正則化（T-BN）の限界、特にソースパラメータとターゲットバッチ統計の不一致により判別性の高い特徴構造が損なわれる問題に対処すること。
• トレーニング不要な実用的で効果的な適応手法を、ターゲットデータが事前に収集されていないドメイン一般化（DG）およびテスト時適応（TTA）の文脈で開発すること。
• 推論時にソースおよびターゲット統計をバランスさせることで、分布シフト下でもモデルのロバスト性と性能を維持すること。
• ペアワイズクラス相関を活用する統一的オンライン最適化フレームワークCoreを提案すること。

提案手法

• 可学習または固定のハイパーパrameter αを用いて、バッチ正則化層でソースおよびターゲットのバッチ統計を線形混合する一般化された定式化であるα-BNを導入する。
• 推論時にα-BNを適用し、バッチ正則化統計をキャリブレートすることで、ドメインシフトを軽減しつつ、ソースで学習されたモデルの判別能力を維持する。
• 推論中に予測を精緻化するために、ペアワイズクラス相関のオンライン最適化を実行するCoreフレームワークを設計する。
• クラス間関係を活用することで、バッチ間で一貫性があり、判別性の高い表現を促進する、新しい損失関数をCore内に導入する。
• 追加のトレーニングやアーキテクチャ変更なしに、標準的な経験的リスク最小化（ERM）モデルにα-BNを統合する。
• 最小限の計算オーバーヘッドで複数のデータセットに対して評価し、効率性と有効性を実証する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングなしに推論時にソースおよびターゲットバッチ統計をブレンドすることで、分布シフト下でのモデル一般化性能が向上するか？
• RQ2 α-BNは、ソース学習で得られた判別性の高い特徴構造を、新しいドメインに適応する際にも保持できるか？
• RQ3 ペアワイズクラス相関最適化に基づく提案されたCoreフレームワークは、従来手法と比較してテスト時適応性能をどのように向上させるか？
• RQ4 α-BNは、異なるタスクおよびデータセットにおけるテスト時バッチサイズやハイパーパrameter αの変動に対してロバストか？
• RQ5 LogMEスコアで測定した場合、α-BNは微調整のための表現品質を向上させるか？

主な発見

• GTA5→Cityscapesの設定で、トレーニングなしにmIoUを15.5%向上（43.9%から59.4%）し、最新のソースフリー領域適応手法を上回った。
• 画像分類、セマンティックセグメンテーション、およびノイズ耐性の3分野にまたがる12の多様なデータセットにおいて、α-BNは最先端の性能を達成した。
• 1枚あたりの推論時間に0.0158秒の追加オーバーヘッド（80.94秒 vs. 72.84秒）しか生じず、高い効率性を示した。
• α-BNはバッチサイズおよびハイパーパrameter αに対してロバストであり、セグメンテーションタスクではα=0.7、分類タスクではα=0.9が最適な性能を示した。
• すべてのタスクでMcNemar検定により統計的有意性（p < 0.05）が確認され、ERMベースラインに対する改善が妥当であることが裏付けられた。
• α-BNの表現に対するLogMEスコアは、ソースおよびT-BNよりも高く、微調整に適したより優れた表現を発見したことが示された。