[論文レビュー] What Are Bayesian Neural Network Posteriors Really Like?

Pavel Izmailov, Sharad Vikram+2 more|arXiv (Cornell University)|Apr 29, 2021

Gaussian Processes and Bayesian Inference参考文献 66被引用数 71

ひとこと要約

この論文は現代のアーキテクチャ上で全バッチ HMC を用いて真のベイズニューラルネットワーク後側を研究し、BNN が標準的な訓練やアンサンブルを上回る可能性を示しつつ、事前分布、温度制御、ドメインシフト、SGMCMC および深いアンサンブルとの比較に関するニュアンスのある洞察を提供します。

ABSTRACT

The posterior over Bayesian neural network (BNN) parameters is extremely high-dimensional and non-convex. For computational reasons, researchers approximate this posterior using inexpensive mini-batch methods such as mean-field variational inference or stochastic-gradient Markov chain Monte Carlo (SGMCMC). To investigate foundational questions in Bayesian deep learning, we instead use full-batch Hamiltonian Monte Carlo (HMC) on modern architectures. We show that (1) BNNs can achieve significant performance gains over standard training and deep ensembles; (2) a single long HMC chain can provide a comparable representation of the posterior to multiple shorter chains; (3) in contrast to recent studies, we find posterior tempering is not needed for near-optimal performance, with little evidence for a "cold posterior" effect, which we show is largely an artifact of data augmentation; (4) BMA performance is robust to the choice of prior scale, and relatively similar for diagonal Gaussian, mixture of Gaussian, and logistic priors; (5) Bayesian neural networks show surprisingly poor generalization under domain shift; (6) while cheaper alternatives such as deep ensembles and SGMCMC methods can provide good generalization, they provide distinct predictive distributions from HMC. Notably, deep ensemble predictive distributions are similarly close to HMC as standard SGLD, and closer than standard variational inference.

研究の動機と目的

• 真のベイズ後側が標準的な訓練および深いアンサンブルより有利であるかを調査する。
• 複数チェーンと単一長チェーンの HMC が後側をどれだけ適切に近似するかを評価する。
• BNN の性能における後側温度（コールド後側 vs 温暖後側） の役割を検討する。
• ドメインシフトに対する頑健性を評価し、HMC と安価な推論法を比較する。
• 全バッチ HMC の実運用に関する実用的な指針を提供し、さらなる研究リソースを共有する。

提案手法

• ResNet-20-FRN および CNN-LSTM のようなアーキテクチャでベイズニューラルネットワーク後側をサンプリングするために全バッチ Hamiltonian Monte Carlo を適用する。
• SPDM セットアップで百台以上の TPU デバイスにわたってサンプリングを並列化し、全バッチ勾配を処理する。
• 混合と受容率を達成するようにHMCのハイパーパラメータ（軌跡長、ステップサイズ、チェーンの数）を調整する。
• 重み空間と関数空間の後方分布幾何を可視化・解析して混合とモード連結性を理解する。
• HMC を SGLD、MFVI、SGD、深いアンサンブルと比較し、分類と回帰のベンチマークで評価する。
• 予測性能、対数尤度、キャリブレーション誤差、分布外検出指標を評価する。

実験結果

リサーチクエスチョン

• RQ1 単一の長い HMC チェーンは複数の短いチェーンと比較して後側表現を提供できるか？
• RQ2 真の後側を持つベイズニューラルネットは標準的な訓練や深いアンサンブルを精度とキャリライズド不確実性の点で上回るか？
• RQ3 後側の温度制御（冷却後側 T<1）はほぼ最適な性能に必要か？
• RQ4 共分散対角ガウス、ガウス混合、ロジスティックの事前分布など、異なる事前分布とスケールに対してベイズモデル平均化は頑健か？
• RQ5 HMC で訓練されたBNNは、ドメインシフトや分布外設定において他の手法と比べて一般化できるか？

主な発見

• 全バッチ HMC によって得られた BNN は CIFAR-10 および IMDB で標準訓練および深いアンサンブルより精度と対数尤度の点で上回る。
• 単一の長い HMC チェーンは予測性能の点で複数の短いチェーンと同等の後側表現を提供できる。
• 温度 T=1 で near-optimal な性能には後側の冷却は必須ではなく、Cold Posterior 効果の証拠は setup の下でほとんど見られない。
• ベイズモデル平均化は事前分布の選択とスケールに対して頑健であり、対角ガウス、ガウス混合、ロジスティック事前分布はアーキテクチャの制御の方が事前より重要であることを示す。
• BNN はインドメインで高い性能を示すが、共変量シフト下での一般化は驚くほど乏しい；深いアンサンブルと SGMCMC は良く一般化できるが HMC とは異なる予測分布を生み出す。
• 深いアンサンブルと SGLD は HMC に比較的近い予測分布を提供し、一部の設定で標準的な変分推論を上回る。