[論文レビュー] Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift

Zachary Nado, Shreyas Padhy+4 more|arXiv (Cornell University)|Jun 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 95

ひとこと要約

本論文は予測時バッチ正規化を導入し、予測時の小さな unlabeled バッチを用いて活性化を再較正することで、共変量シフト下の精度とキャリブレーションを改善する。CIFAR-10-CとImageNet-Cで強力な結果を示す。

ABSTRACT

Covariate shift has been shown to sharply degrade both predictive accuracy and the calibration of uncertainty estimates for deep learning models. This is worrying, because covariate shift is prevalent in a wide range of real world deployment settings. However, in this paper, we note that frequently there exists the potential to access small unlabeled batches of the shifted data just before prediction time. This interesting observation enables a simple but surprisingly effective method which we call prediction-time batch normalization, which significantly improves model accuracy and calibration under covariate shift. Using this one line code change, we achieve state-of-the-art on recent covariate shift benchmarks and an mCE of 60.28\% on the challenging ImageNet-C dataset; to our knowledge, this is the best result for any model that does not incorporate additional data augmentation or modification of the training pipeline. We show that prediction-time batch normalization provides complementary benefits to existing state-of-the-art approaches for improving robustness (e.g. deep ensembles) and combining the two further improves performance. Our findings are supported by detailed measurements of the effect of this strategy on model behavior across rigorous ablations on various dataset modalities. However, the method has mixed results when used alongside pre-training, and does not seem to perform as well under more natural types of dataset shift, and is therefore worthy of additional study. We include links to the data in our figures to improve reproducibility, including a Python notebooks that can be run to easily modify our analysis at https://colab.research.google.com/drive/11N0wDZnMQQuLrRwRoumDCrhSaIhkqjof.

研究の動機と目的

• 共変量シフトの下でテスト時に小さなバッチで予測が発生する予測時バッチ設定を動機づけ、形式化する。
• 現在の予測バッチ統計を用いて活性化を再較正する、単純で効率的な手法—予測時 BNを提案する。
• 共変量シフト・ベンチマークで画像・非画像モダリティに渡って手法を評価し、どの場合に有益か/失敗するかを分析する。

提案手法

• 予測時バッチごとの損失とリスク最小化を伴う予測時バッチ設定を形式化する。
• frozen training EMA 統計に対し、各予測時バッチで再計算された BN 統計を適用する（予測時 BN）。
• 複数のデータセットを横断して、予測時 BN とバニラ BN、アンサンブル、温度スケーリング、他の正規化変種を比較する。
• ε、どの BN 層をリセットするか、事前学習や自然シフトとの相互作用といった要素の役割を理解するためのアブレーションを提供する。

実験結果

リサーチクエスチョン

• RQ1 予測時バッチで BN 統計を再計算することで、共変量シフト下のキャリブレーションと精度は改善されるか。
• RQ2 予測時 BN は訓練時 BN や他のキャリブレーション手法と、画像・非画像モダリティを横断してどう異なるか。
• RQ3 事前学習や自然なデータセットシフトを含む場合の予測時 BN の制限と失敗モードは。
• RQ4 バッチサイズ、BN 層の選択、正規化ハイパーパラメータに対して手法はどれだけ敏感か。

主な発見

• 予測時 BN はシフトしたデータの活性化の分布を訓練データの統計と整合させ、共変量シフト下のキャリブレーションを改善し、しばしば精度も向上させる。
• CIFAR-10-C と ImageNet-C では、予測時 BN が強いキャリブレーションと競争力のある精度を示し、ImageNet-C で追加データ増強なしの mCE は 60.28% に達する。
• この手法はアンサンブルと補完的で、予測時の様々なバッチサイズで利益を維持し、モデレートなバッチサイズ（約100）でも substantial な利点がある。
• 事前学習を用いた場合（例: Noisy Student on ImageNet-C）やより自然なデータセットシフト下では予測時 BN の性能が下がることがあり、効果の境界条件を示唆する。
• 自然な対向的データセット（ImageNet-A）では、予測時 BN はキャリブレーションを改善し、場合によっては訓練 BN より優れる。
• アブレーション研究では出力層の前の正規化層だけでは十分でなく、内部 BN 層の再正規化がより大きな利得をもたらすことを示す。