[論文レビュー] Exact posterior distributions of wide Bayesian neural networks

Jiri Hron, Yasaman Bahri+3 more|arXiv (Cornell University)|Jun 18, 2020

Gaussian Processes and Bayesian Inference参考文献 17被引用数 6

ひとこと要約

この論文は、わずかな尤度の仮定の下で、広いベイジアンニューラルネットワーク（BNN）の正確な後方分布が、事前分布のガウス過程（GP）極限によって誘導される後方分布に弱収束することを証明している。小さなデータセットにおける厳密なリジェクションサンプリングと厳密な理論的分析を用いて、有限幅のBNN後方分布とそのGP後方分布極限との間の漸近的同等性を確立し、BNN一般化における長年の理論的ギャップを解消した。

ABSTRACT

Recent work has shown that the prior over functions induced by a deep Bayesian neural network (BNN) behaves as a Gaussian process (GP) as the width of all layers becomes large. However, many BNN applications are concerned with the BNN function space posterior. While some empirical evidence of the posterior convergence was provided in the original works of Neal (1996) and Matthews et al. (2018), it is limited to small datasets or architectures due to the notorious difficulty of obtaining and verifying exactness of BNN posterior approximations. We provide the missing theoretical proof that the exact BNN posterior converges (weakly) to the one induced by the GP limit of the prior. For empirical validation, we show how to generate exact samples from a finite BNN on a small dataset via rejection sampling.

研究の動機と目的

• ネットワーク幅が増加する際のベイジアンニューラルネットワーク（BNN）後方分布の漸近的挙動を理解する理論的ギャップを埋めること。
• 広いBNNの正確な関数空間後方分布が、事前分布のガウス過程（GP）極限によって誘導される後方分布に弱収束することを確立すること。
• 従来の経験的観察を補完する、後方分布収束の厳密な理論的証明を提供すること。
• 小さなデータセットにおける正確な後方分布サンプリングをリジェクションサンプリングにより可能にし、理論的主張の経験的検証を可能にすること。

提案手法

• 関数空間における弱収束を用いた、広いBNNの後方分布の理論的分析。
• 先行研究（Matthews et al., 2018; Neal, 1996）のGP極限フレームワークを後方分布設定に適応すること。
• ネットワーク出力にのみ依存し、連続的かつ有界である尤度関数の仮定により、幅にわたる漸近的不変性を保証すること。
• 小さなデータセットにおける有限幅BNNからの正確な後方分布サンプルを生成するためのリジェクションサンプリングの使用。
• スラツキーの補題と確率収束を用いて、固定入力集合における後方分布の弱収束を確立すること。
• ネットワーク活性化のモーメント有界性（8次までのモーメントまで）を帰納的に証明し、極限における中心極限定理型の議論の有効性を保証すること。

実験結果

リサーチクエスチョン

• RQ1 広いベイジアンニューラルネットワークの正確な後方分布は、事前分布のガウス過程極限によって誘導される後方分布に弱収束するか？
• RQ2 この後方分布収束が成立する尤度関数の条件は何か？
• RQ3 有限幅BNNから正確な後方分布サンプルを生成できるか？ これにより理論的収束の経験的検証が可能か？
• RQ4 固定入力集合と有界尤度は、後方分布の漸近的挙動にどのように影響するか？
• RQ5 中心極限定理の議論の有効性を保証する技術的条件は何か？

主な発見

• 広いBNNの正確な後方分布は、ネットワーク幅が無限大に近づくにつれて、GPによって誘導される後方分布に弱収束する。
• 尤度がネットワーク出力にのみ依存し、連続的かつ有界であるという仮定のもとで、この収束が成立し、幅にわたる不変性が保証される。
• 証明により、後方分布収束が事前分布収束と尤度構造に起因することを示し、従来の事前分布から後方分布への結果の拡張がなされた。
• 小さなデータセットにおけるリジェクションサンプリングによる正確な後方分布サンプリングが可能であり、理論的収束の経験的検証が可能である。
• ネットワーク活性化の高次モーメント（8次までのモーメントまで）の有界性が帰納的に証明され、漸近的議論の有効性が裏付けられた。
• 固定数の重みがi.i.d.でない値（例：ε-J集合を介して）に設定されていても、やや厳しい条件下で、漸近的挙動が保持される。