[論文レビュー] Dangers of Bayesian Model Averaging under Covariate Shift

Pavel Izmailov, Patrick K. Nicholson+2 more|arXiv (Cornell University)|Jun 22, 2021

Gaussian Processes and Bayesian Inference参考文献 53被引用数 7

ひとこと要約

本稿は、ベイジアンニューラルネットワーク（BNN）におけるベイジアンモデル平均化（BMA）が、入力特徴量に線形従属性を持つもの（例：MNISTにおけるドアド・ピクセル）があると、事前分布から抽出された正則化されていない重みがテスト時ノイズを増幅させることで、共変量シフト下で性能が著しく低下することを特定した。著者らは、これらの直交方向に対して低分散事前分布を、非ゼロ平均の汚染に対しては和制約付き事前分布を新たに提案し、分布内性能を維持したままOOD一般化性能を顕著に向上させた。

ABSTRACT

Approximate Bayesian inference for neural networks is considered a robust alternative to standard training, often providing good performance on out-of-distribution data. However, Bayesian neural networks (BNNs) with high-fidelity approximate inference via full-batch Hamiltonian Monte Carlo achieve poor generalization under covariate shift, even underperforming classical estimation. We explain this surprising result, showing how a Bayesian model average can in fact be problematic under covariate shift, particularly in cases where linear dependencies in the input features cause a lack of posterior contraction. We additionally show why the same issue does not affect many approximate inference procedures, or classical maximum a-posteriori (MAP) training. Finally, we propose novel priors that improve the robustness of BNNs to many sources of covariate shift.

研究の動機と目的

• ハミルトニアンモンテカルロ（HMC）を用いた高精度なベイジアンニューラルネットワーク（BNN）が共変量シフト下でOut-of-Distribution（OOD）一般化性能を著しく低下させる理由を調査すること。
• この失敗の根本的要因、特に入力特徴量の線形従属性とBMAにおける事後分布収縮の欠如が果たす役割を解明すること。
• 分布シフト下におけるベイジアンモデル平均化と古典的MAP学習、確率的最適化の耐性を比較すること。
• データ汚染、ドメインシフト、誤った相関関係など、複数のタイプの共変量シフトに対して耐性を高めるために、新たな事前分布を設計すること。
• この問題が非線形パラメータモデルにおいて線形従属特徴量を持つ場合に生じる根本的性質であり、特定のアーキテクチャやデータセットに限定されないことを示すこと。

提案手法

• 入力特徴量の線形従属性（例：MNISTにおけるドアド・ピクセル）が、BNNの事後分布収縮と予測の耐性に与える影響を分析すること。
• ハミルトニアンモンテカルロ（HMC）によるベイジアンモデル平均化（BMA）と最大事後確率（MAP）学習、SGD最適化を比較し、重み初期化と正則化効果に注目すること。
• データ多様体に直交する方向における第1層重みの分散を制約する新しい事前分布を提案し、テスト時ノイズへの感受性を低減すること。
• 非ゼロ平均の汚染に対して、第1層重みの和を制約する第二の事前分布を導入し、性能低下を緩和すること。
• 提案された事前分布をCIFAR-10-CとMNISTで評価し、HMCを用いたBNNとMAP・SGDベースラインを比較すること。
• 損失関数の表面を可視化・分析し、極小解の平坦性と汚染に対する耐性を評価すること。

実験結果

リサーチクエスチョン

• RQ1 高精度なHMC推論を用いたベイジアンニューラルネットワークが、共変量シフト下でなぜ古典的MAP学習に劣るのか？
• RQ2 入力特徴量の線形従属性（例：ドアド・ピクセル）がBNNの一般化性能を悪化させるメカニズムは何か？
• RQ3 なぜベイジアンモデル平均化は、MAPやSGDに比べてテスト時分布シフトに対してより脆弱なのか？
• RQ4 特定の事前分布を用いることで、BNNの複数のタイプの共変量シフトに対する耐性を向上させつつ、分布内性能を損なわないか？
• RQ5 重み初期化と最適化ダイナミクスは、分布シフト下におけるBNNの耐性にどのような役割を果たすのか？

主な発見

• ピクセル化汚染を施したCIFAR-10-Cデータセットでは、HMCを用いたResNet-20 BNNの精度は44%にとどまり、MAP解の69%に比べ25ポイントも劣るが、分布内データではMAPを上回る性能を示した。
• BNNは共変量シフトに対して耐性が低いのは、線形従属な特徴量に対応する重みが事前分布から抽出され、テスト時ノイズを増幅させるためであり、一方MAP正則化はこうした重みを抑制する。
• MAP解はドアド・ピクセル特徴量に対して構造的でほぼゼロの重みを生成するが、BNNのサンプルではこれらの重みに高いノイズが見られ、入力汚染に敏感な予測を生じる。
• 小さな重み初期化（例：U(−0.001, 0.001)）はSGDの共変量シフト耐性を向上させる。これは、初期重みが小さければ誤った特徴量への過剰適合を回避できるためである。
• 直交方向に対する低分散事前分布と、非ゼロ平均汚染に対する和制約事前分布の両方を導入することで、BNNのOOD一般化性能が顕著に向上した。
• 損失関数表面の分析から、平坦な極小解（SGDで得られる）はランダム解よりも汚染に対して影響を受けにくく、腐食強度が増大しても最適モードは安定していることが確認された。