[論文レビュー] Test-time Batch Normalization

Tao Yang, Shenglong Zhou+3 more|arXiv (Cornell University)|May 20, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、訓練時と同一の勾配誤差逆伝播を維持し、データセットレベルの統計を用いてデータ分布シフトに対する耐性を向上させる、テスト時バッチ正則化層GpreBNを提案する。推論時にエントロピー最小化によりアフィンパラメータを最適化することで、ドメイン一般化および耐性ベンチマークの両方で最先端の性能を達成し、Tent や T3A といった先行手法を上回っている。

ABSTRACT

Deep neural networks often suffer the data distribution shift between training and testing, and the batch statistics are observed to reflect the shift. In this paper, targeting of alleviating distribution shift in test time, we revisit the batch normalization (BN) in the training process and reveals two key insights benefiting test-time optimization: $(i)$ preserving the same gradient backpropagation form as training, and $(ii)$ using dataset-level statistics for robust optimization and inference. Based on the two insights, we propose a novel test-time BN layer design, GpreBN, which is optimized during testing by minimizing Entropy loss. We verify the effectiveness of our method on two typical settings with distribution shift, i.e., domain generalization and robustness tasks. Our GpreBN significantly improves the test-time performance and achieves the state of the art results.

研究の動機と目的

• 深層学習モデルにおける訓練時とテスト時のデータ分布シフト問題に対処すること。
• 効果的なテスト時適応のためのバッチ正則化層の設計原則を特定すること。
• 推論時に勾配誤差逆伝播の正確性を保ちつつ、安定なデータセットレベルの統計を活用する手法を開発すること。
• ドメイン一般化や耐性といった多様な分布シフトのシナリオにおいて、最先端の性能を達成すること。

提案手法

• 勾配誤差逆伝播の形式と正則化統計の選択を分離する新しいバッチ正則化層GpreBNを提案する。
• テスト時最適化中にバッチ統計を動的に計算することで、訓練時と同様のインスタンス間勾配依存性を維持する。
• 正則化にデータセットレベルの累積統計（例：移動平均）を用いることで、推論時の安定性と耐性を向上させる。
• テスト時バッチデータ上でエントロピー最小化を用いてGpreBNのアフィンパラメータ（γ, β）を最適化する。
• 計算グラフや勾配フローを変更せずに、異なる統計（例：ソース、ターゲット、ターゲット平均）を柔軟に利用可能にする。
• rT3Aを導入し、早期層にのみターゲット統計を適用する補完的分類器適応手法を提案。この手法により、耐性タスクにおける分布シフトの原因が特徴抽出器に起因するという仮説を検証した。

実験結果

リサーチクエスチョン

• RQ1 訓練時の勾配誤差逆伝播形式を維持することは、テスト時適応性能にどのように影響するか？
• RQ2 データセットレベルの統計を用いることで、分布シフト下でのテスト時適応の耐性は向上するか？
• RQ3 Tent などの既存テスト時手法が耐性タスクでは成功しているものの、ドメイン一般化タスクでは失敗する理由は何か？
• RQ4 分布シフトの発生位置（例：早期層 vs. 末期層）が、テスト時適応の有効性に与える影響はどの程度か？
• RQ5 ドメイン一般化と耐性タスクの両方で効果を発揮する統一されたテスト時適応手法は可能か？

主な発見

• GpreBNはドメイン一般化タスクで最先端の性能を達成し、CIFAR-10-Cでは平均汚染誤差（mCE）を8.9まで低下させ、Tent（13.2）や T3A（14.4）を上回った。
• VLCSデータセットでは、GpreBNにターゲット統計を適用した場合、トップ1誤差が13.1%にまで低下し、Tent（13.8%）やターゲット統計付きBN（13.8%）を顕著に上回った。
• GpreBNはドメイン一般化と耐性の両タスクで優れた性能を維持している一方、Tentはドメイン一般化で失敗し、T3Aは耐性タスクで性能を発揮できなかった。
• アブレーションスタディにより、インスタンス間勾配誤差逆伝播の維持とデータセットレベルの統計の利用が性能向上に不可欠であることが確認された。
• rT3Aの変種では、早期層（50%）にのみターゲット統計を適用した場合、性能低下が最小限（14.6 vs. 14.4）に抑えられ、耐性の分布シフトが特徴抽出器に起因するという仮説を支持した。
• モデルをソースドメインでファインチューニングした場合でも、ターゲット統計が失敗する状況においても、GpreBNは有効であることが示され、ファインチューニングに起因する分布シフトに対しても耐性があることを示した。