[論文レビュー] Understanding Priors in Bayesian Neural Networks at the Unit Level

Mariia Vladimirova, Jakob Verbeek+2 more|arXiv (Cornell University)|Oct 11, 2018

Neural Networks and Applications被引用数 36

ひとこと要約

この論文は、ガウス型重み事前分布を用いたベイジアンニューラルネットワークにおける隠れユニットの事前分布を調査し、最初の層ではガウス分布から出発し、深さが増すにつれて、徐々に重たい尾を持つサブ・ウェイブル分布へと変化することを示している。具体的には、層ℓにおける尾パラメータはθ = ℓ/2である。これは、従来の重み減衰を超えて、ユニットレベルでの深さ依存の正則化効果を明らかにする。

ABSTRACT

We investigate deep Bayesian neural networks with Gaussian weight priors and a class of ReLU-like nonlinearities. Bayesian neural networks with Gaussian priors are well known to induce an L2, "weight decay", regularization. Our results characterize a more intricate regularization effect at the level of the unit activations. Our main result establishes that the induced prior distribution on the units before and after activation becomes increasingly heavy-tailed with the depth of the layer. We show that first layer units are Gaussian, second layer units are sub-exponential, and units in deeper layers are characterized by sub-Weibull distributions. Our results provide new theoretical insight on deep Bayesian neural networks, which we corroborate with simulation experiments.

研究の動機と目的

• ガウス型重み事前分布の下で、深さのあるベイジアンニューラルネットワークにおける隠れユニットの周辺事前分布を理解すること。
• ユニット活性化の尾の挙動がネットワークの深さにどのように変化するかを特定すること。
• 従来観察されていなかった、重みレベルではなくユニットレベルで作用する正則化メカニズムを明らかにすること。
• ReLUに類似した非線形性の下で、より深い層の活性化が重たい尾を持つ理由を理論的に裏付けること。
• 得られたユニットレベルの事前分布を、正則化とスパarsityに関するより広範な概念と結びつけること。

提案手法

• 全結合フィードフォワードネットワークにおける、非線形性の前後におけるユニットの周辺事前分布の理論的分析。
• 活性化関数φにやや弱い条件下で、層ℓにおけるユニット活性化のサブ・ウェイブル分布の尾パラメータθ = ℓ/2を導出すること。
• 特性関数およびモーメント生成関数の分析を用いて、サブ・ウェイブル性を確立すること。
• ReLUに類似した活性化関数が、深さとともに尾が重くなるサブ・ウェイブルユニットをもたらすことを示す定理3.1の証明。
• 100層のMLPを用いたシミュレーション実験。ReLU活性化関数と標準正規入力を用い、理論的尾の挙動を検証。
• 10⁵個のサンプルを用いた、層1, 2, 3, 10, 100における非線形性前の事前分布のヒストグラムによる実証的検証。

実験結果

リサーチクエスチョン

• RQ1 ガウス型重みを用いたベイジアンニューラルネットワークにおいて、隠れユニット活性化の事前分布は、深さが増すにつれてどのように変化するか？
• RQ2 ユニットの周辺事前分布の関数形は何か？ また、それは層の深さにどのように依存するか？
• RQ3 ガウス型事前分布の正則化効果を、重みレベルだけでなくユニットレベルでもよりよく理解できるか？
• RQ4 ReLUに類似した非線形性は、深さのあるベイジアンネットワークにおけるユニット活性化の尾の挙動にどのように影響するか？
• RQ5 導出されたサブ・ウェイブル事前分布と、スパarsity誘導型正則化メカニズムとの関連性は何か？

主な発見

• 最初の層のユニットにおける事前分布はガウス分布であり、尾パラメータθ = 1/2のサブ・ウェイブル分布に相当する。
• 2番目の層のユニットは、サブ・エクスポネンシャル分布に従い、これは尾パラメータθ = 1のサブ・ウェイブル分布に相当する。
• より深い層のユニットは、次第に重たい尾を持つサブ・ウェイブル分布に特徴づけられ、層ℓでは尾パラメータθ = ℓ/2である。
• 100番目の隠れ層では、非常に平坦で重たい尾を持つ分布を示し、これは尾パラメータθ = 50のサブ・ウェイブル分布に対応しており、実証的ヒストグラムでも確認された。
• 理論的結果は、無限大で線形に増加する活性化関数（例：ReLU）に対して成立するが、シグモイドやtanhのような有界関数では成立しない。
• これらの発見は、ユニットレベルにおける深さ依存の正則化機構を示唆しており、深さのあるベイジアンニューラルネットワークの一般化性能の向上を説明する手がかりを提供する。