[論文レビュー] On Batch Normalisation for Approximate Bayesian Inference

Jishnu Mukhoti, Puneet K. Dokania+2 more|arXiv (Cornell University)|Dec 24, 2020

Gaussian Processes and Bayesian Inference参考文献 18被引用数 4

ひとこと要約

この論文は、深層ニューラルネットワークにおける近似ベイズ推論の文脈でバッチ正則化（BN）を調査し、変分推論におけるエビデンス下界（ELBO）最適解にBNが影響しないことを示している。また、ミニバッチサイズが増加する際、エピステミック不確実性がゼロに収束するというモンテカルロバッチ正則化（MCBN）の重大な失敗を特定している。著者らは、特に大規模データセットにおける漸近的状況下で不確実性のキャリブレーションを回復させるために、ミニバッチサイズを変分パラメータとして扱う手法を提案している。

ABSTRACT

We study batch normalisation in the context of variational inference methods in Bayesian neural networks, such as mean-field or MC Dropout. We show that batch-normalisation does not affect the optimum of the evidence lower bound (ELBO). Furthermore, we study the Monte Carlo Batch Normalisation (MCBN) algorithm, proposed as an approximate inference technique parallel to MC Dropout, and show that for larger batch sizes, MCBN fails to capture epistemic uncertainty. Finally, we provide insights into what is required to fix this failure, namely having to view the mini-batch size as a variational parameter in MCBN. We comment on the asymptotics of the ELBO with respect to this variational parameter, showing that as dataset size increases towards infinity, the batch-size must increase towards infinity as well for MCBN to be a valid approximate inference technique.

研究の動機と目的

• バーチャルニューラルネットワークにおける変分推論（VI）におけるバッチ正則化（BN）の役割を分析すること。
• モンテカルロバッチ正則化（MCBN）が近似ベイズ推論の手法として妥当かどうかを調査すること。
• 大規模なミニバッチサイズを用いたMCBNの失敗モードを同定すること。
• MCBNにおいてミニバッチサイズを変分パラメータとして扱うことで、原理的かつ整合的な修正を提案すること。
• 大規模データセットの極限において、ミニバッチサイズに関するELBOの漸近的挙動を分析すること。

提案手法

• 著者らは、BN層を含むベイジアンニューラルネットワークのELBOを形式化し、BNがELBO目的関数の最適解に影響しないことを示している。
• BNのミニバッチ統計量がモデルの不確実性の源であるとして、MCBNを確率的近似法として分析している。
• MCBNにおける確率性は、ミニバッチサイズに起因しており、これがエピステミック不確実性の主な要因であると導出している。
• ドロップアウト率がMCドロップアウトで扱われるのと同様に、ミニバッチサイズを変分パラメータとして扱い、不確実性キャリブレーションを最適化する手法を提案している。
• 相互情報量を不確実性指標として用い、CIFAR-10、SVHN、Fashion-MNIST/MNISTのペアに対して実験的評価を実施している。
• ELBOの漸近的挙動を分析し、MCBNが有効であるためには、データセットサイズが増加するに従いバッチサイズも増加する必要があることを示している。

実験結果

リサーチクエスチョン

• RQ1 バッチ正則化（BN）は、変分推論におけるエビデンス下界（ELBO）の最適解に影響を及ぼすか？
• RQ2 モンテカルロバッチ正則化（MCBN）は、異なるミニバッチサイズにおいて、信頼性高くエピステミック不確実性を捉えることができるか？
• RQ3 なぜMCBNにおけるエピステミック不確実性は、バッチサイズが増加するにつれてゼロに収束するのか？
• RQ4 データセットサイズが増加する際、MCBNにおけるELBOの漸近的挙動はいかなるものか？
• RQ5 ミニバッチサイズを変分パラメータとして扱うことで、MCBNにおける不確実性キャリブレーションを回復させることができるか？

主な発見

• バッチ正則化（BN）は、エビデンス下界（ELBO）の最適解に影響しない。つまり、BN層は根本的な変分推論目的関数を変更しない。
• MCBNは、ミニバッチサイズが増加するにつれてエピステミック不確実性を保持できず、バッチサイズが1024および2048に達する段階で、予測分布と事後分布の間の相互情報量がほぼゼロにまで低下する。
• OOD検出タスクにおいて、大規模バッチサイズでMCBNを用いて訓練されたモデルは、高精度を維持しているにもかかわらず、イン・ディストリビューションとアウト・オブ・ディストリビューションのサンプルを区別できなくなる。
• MCBNの失敗は、大規模バッチサイズにおけるBN統計量の決定的性質に起因し、不確実性推定を駆動する確率性が消失するためである。
• MCBNが有効な近似推論手法のままであるためには、データセットサイズが無限大に近づくに従い、ミニバッチサイズもそれに比例して増加する必要があることを著者らは示している。
• ドロップアウト率を扱うのと同様に、ミニバッチサイズを変分パラメータとして扱うことで、MCBNにおける不確実性キャリブレーションを回復させることができ、より強固なベイジアンディープラーニングへの道筋が示唆される。