[論文レビュー] Exact priors of finite neural networks.

Jacob A. Zavatone-Veth, Cengiz Pehlevan|arXiv (Cornell University)|Apr 23, 2021

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

この論文は、有限なベイジアンニューラルネットワークの出力事前分布の正確な解析的表現を導出しており、深層線形ネットワークでは出力事前分布がメイジェル G 関数を用いて表現可能であることを示している。一方、ReLU ネットワークでは、活性ユニット数の異なる線形ネットワーク事前分布の混合物として表現可能である。これらの結果は、有限ネットワークにおける尾部挙動と大幅極限の理解を統合するものである。

ABSTRACT

Bayesian neural networks are theoretically well-understood only in the infinite-width limit, where Gaussian priors over network weights yield Gaussian priors over network outputs. Recent work has suggested that finite Bayesian networks may outperform their infinite counterparts, but their non-Gaussian output priors have been characterized only though perturbative approaches. Here, we derive exact solutions for the output priors for individual input examples of a class of finite fully-connected feedforward Bayesian neural networks. For deep linear networks, the prior has a simple expression in terms of the Meijer $G$-function. The prior of a finite ReLU network is a mixture of the priors of linear networks of smaller widths, corresponding to different numbers of active units in each layer. Our results unify previous descriptions of finite network priors in terms of their tail decay and large-width behavior.

研究の動機と目的

• 有限な全結合フィードフォワード型ベイジアンニューラルネットワークの出力事前分布に対して、正確で摂動論的でない表現を導出すること。
• 特殊関数を用いて、深層線形ネットワークの出力事前分布を閉形式で特徴付けること。
• ReLU ネットワークの出力事前分布が、活性ユニットの構成に応じた幅の小さい線形ネットワークの事前分布の混合であることを示すこと。
• 尾部減衰と漸近的挙動の観点から、これまで散在していた有限ネットワーク事前分布の記述を統合すること。

提案手法

• 積分変換およびメイジェル G 関数の性質を用いて、有限な深層線形ネットワークの正確な出力事前分布を導出すること。
• 各層における活性ニューロン数に応じて、ReLU ネットワークを線形サブネットワークの混合としてモデル化すること。
• 全確率の法則を用いて、全体の出力事前分布をこれらのサブネットワークの事前分布の重み付き和として表現すること。
• ネットワークの階層的構造を活用して、個々の入力に対する出力の周辺分布を計算すること。
• 特殊関数および確率過程論の結果を応用して、閉形式の解を得ること。
• 導出された事前分布が、大幅極限における既知の漸近的挙動と整合することを検証すること。

実験結果

リサーチクエスチョン

• RQ1 有限な深層線形ベイジアンニューラルネットワークの出力事前分布の正確な形は何か？
• RQ2 有限な ReLU ネットワークの出力事前分布は、活性ニューロンの異なる構成に応じてどのように分解されるか？
• RQ3 有限な ReLU ネットワークの出力事前分布は、幅の小さい線形ネットワークの事前分布の混合として表現可能か？
• RQ4 有限ネットワークの事前分布の尾部挙動は、無限大幅極限のものとどのように比較できるか？
• RQ5 導出された正確な解は、これまでの有限ネットワーク事前分布に関する摂動論的記述を統合するか？

主な発見

• 深層線形ベイジアンニューラルネットワークの出力事前分布は、正確にメイジェル G 関数を用いて表現可能である。
• ReLU ネットワークでは、出力事前分布が幅を小さくした線形ネットワークの事前分布の混合であり、混合の重みは各層における活性ユニット数に依存する。
• 導出された事前分布は、ベイジアンニューラルネットワークの既知の大幅極限における漸近的挙動を正確に再現している。
• 正確な解は、これまでの有限ベイジアンネットワークにおける尾部減衰およびスケーリングに関する摂動論的結果を統合・一般化している。
• この枠組みは、有限ベイジアンニューラルネットワークのインダクティブバイアスを理解するための非摂動的基盤を提供する。