[論文レビュー] Exact marginal prior distributions of finite Bayesian neural networks

Jacob A. Zavatone-Veth, Cengiz Pehlevan|arXiv (Cornell University)|Apr 23, 2021

Gaussian Processes and Bayesian Inference参考文献 40被引用数 10

ひとこと要約

本稿では、有限サイズのベイジアンニューラルネットワークにおける正確な周辺事前分布を導出しており、深さのある線形ネットワークはMeijer G関数を用いて表現可能であるのに対し、ReLUネットワークは活性化されたReLUユニットに対応する線形ネットワーク事前分布の混合型を示す。正確な解は、有限幅ネットワークにおける重たい尾部の挙動を明らかにし、部分的近似によって仮定されるサブガウス型の尾部とは矛盾する。

ABSTRACT

Bayesian neural networks are theoretically well-understood only in the infinite-width limit, where Gaussian priors over network weights yield Gaussian priors over network outputs. Recent work has suggested that finite Bayesian networks may outperform their infinite counterparts, but their non-Gaussian function space priors have been characterized only though perturbative approaches. Here, we derive exact solutions for the function space priors for individual input examples of a class of finite fully-connected feedforward Bayesian neural networks. For deep linear networks, the prior has a simple expression in terms of the Meijer $G$-function. The prior of a finite ReLU network is a mixture of the priors of linear networks of smaller widths, corresponding to different numbers of active units in each layer. Our results unify previous descriptions of finite network priors in terms of their tail decay and large-width behavior.

研究の動機と目的

• 有限幅のベイジアンニューラルネットワークの関数空間事前分布を理解する理論的ギャップを解消すること。
• 入力例が1つの場合に限定して、ネットワーク出力における周辺事前分布の正確な表現を導出すること。
• 特に深く細いアーキテクチャにおいて顕著な非ガウス的・重たい尾部の性質を特徴づけること。
• 部分的近似による補正が、有限幅事前分布の真の重たい尾部の挙動を捉えていないことを示すこと。
• 正確な解を用いて、これまでの尾部減衰および大幅漸近挙動に関する記述を統一すること。

提案手法

• 等方的ガウス型重み事前分布を有する全結合フィードフォワード型ベイジアンニューラルネットワークにおける、前活性化の正確な周辺事前分布を導出する。
• 再帰的条件付き確率とモーメント生成関数を用いて、線形ネットワークの事前分布をMeijer G関数の形で表現する。
• ReLUネットワークの場合、すべての可能な活性化パターンの上での混合モデルとして事前分布をモデル化し、隠れ層における活性化されたReLUユニットの確率を二項確率で重みづけする。
• 正確なモーメント計算と漸近展開を用いて、尾部挙動および大幅極限を分析する。
• モンテカルロサンプルと可変精度算術および計算効率のためのカットオフを用いた高精度数値評価により、結果を検証する。
• 計算精度の損失なしに、計算を高速化するために、2^-52未満の小さな二項係数をカットオフする。

実験結果

リサーチクエスチョン

• RQ1 有限サイズのベイジアンニューラルネットワークにおける出力前活性化の周辺事前分布の正確な形は何か？
• RQ2 有限ネットワーク事前分布の尾部特性は、部分的展開によって予測されるものとどのように異なるか？
• RQ3 有限幅の深さのある線形ネットワークの事前分布の関数的形は何か？
• RQ4 ReLUネットワークの事前分布は、隠れ層における異なる活性化パターンにどのように分解されるか？
• RQ5 正確な解は、有限BNNにおける尾部減衰と大幅漸近挙動に関する事前分布記述を統合できるか？

主な発見

• 深さのある線形ベイジアンニューラルネットワークの事前分布は、Meijer G関数を用いて正確に表現可能であり、有限幅において閉形式の解が得られる。
• ReLUネットワークの事前分布は、より狭い線形ネットワークの事前分布の混合であり、隠れ層における各活性化パターンの確率に従って重みづけられる。
• 有限幅ネットワークは重たい尾部の事前分布を示し、深さが増すほど幅が狭くなるほどその傾向が顕著になる。これは、部分的近似法が仮定するサブガウス型の尾部とは矛盾する。
• 無限幅極限への部分的近似補正は、正確な事前分布の真の重たい尾部の性質を捉えておらず、このような近似の根本的な限界を示している。
• 正確な解は、既知の漸近的挙動（例えば尾部減衰や大幅極限）を帰結として回復し、これまでの結果を統一する。
• 数値的検証により、浮動小数点精度のカットオフ下で事前分布近似の単調収束が確認され、深く広いネットワークでは最大153時間の計算時間が必要となる。