[論文レビュー] Try Depth Instead of Weight Correlations: Mean-field is a Less Restrictive Assumption for Deeper Networks.

Sebastian Farquhar, Lewis Smith+1 more|arXiv (Cornell University)|Feb 10, 2020

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

この論文は、深層ベイジアンニューラルネットワークにおける平均場変分推論が制限的であるという仮定に挑戦し、より深い平均場モデルが、複雑な重み事後分布をもつ浅いネットワークと同等の関数空間分布を達成できることを示している。ハミルトニアン・モンテカルロを用いた実証的検証および大規模な比較により、より深い平均場ネットワークが理論的に妥当であり、実用的に効果的な、構造的で計算コストの高い事後分布の代替手段であることが確認された。

ABSTRACT

We challenge the longstanding assumption that the mean-field approximation for variational inference in Bayesian neural networks is severely restrictive, and show this is not the case in deep networks. We prove several results indicating that deep mean-field variational weight posteriors can induce similar distributions in function-space to those induced by shallower networks with complex weight posteriors. We validate our theoretical contributions empirically, both through examination of the weight posterior using Hamiltonian Monte Carlo in small models and by comparing diagonal- to structured-covariance in large settings. Since complex variational posteriors are often expensive and cumbersome to implement, our results suggest that using mean-field variational inference in a deeper model is both a practical and theoretically justified alternative to structured approximations.

研究の動機と目的

• 深層ベイジアンニューラルネットワークにおける平均場変分推論が、長年にわたり過度に制限的であるとされる考えを挑戦すること。
• 重み事後分布が平均場であるより深いネットワークが、複雑な重み事後分布をもつ浅いネットワークと同等の関数空間分布を達成できるかどうかを調査すること。
• 構造的で計算コストの高い近似の代わりに、より深い平均場モデルを用いることの理論的・実証的根拠を提供すること。

提案手法

• 理論的分析により、深層平均場変分事後分布が、複雑な重み事後分布をもつ浅いネットワークと同等の関数空間分布を誘導できることを証明した。
• 実証的検証として、ハミルトニアン・モンテカルロを用いて小さなモデルにおける重み事後分布を検査し、理論的主張を確認した。
• 大規模モデルにおける比較実験により、変分事後分布における対角型と構造的共分散の性能を評価し、関数的同等性を検証した。
• この研究では、構造的事後分布近似の実用的代替手段として、より深いアーキテクチャにおける平均場推論を活用した。
• 理論的結果は、深さが平均場重み事後分布の単純化を補うものであるという仮定の下で導出された。

実験結果

リサーチクエスチョン

• RQ1 平均場変分推論は、深層ベイジアンニューラルネットワークにおいても依然として制限的であるのか、それとも深さがその制限を緩和できるのか？
• RQ2 より深い平均場ネットワークは、複雑な重み事後分布をもつ浅いネットワークと同等の関数空間分布を生成できるか？
• RQ3 より深いモデルにおける平均場推論は、理論的に正当化されており、実証的にも効果的な、構造的事後分布近似の代替手段であるか？

主な発見

• より深い平均場変分事後分布は、複雑な重み事後分布をもつ浅いネットワークと同等の関数空間分布を誘導できる。
• ハミルトニアン・モンテカルロを用いた実証的結果により、より深いモデルにおける平均場重み事後分布が意味のある機能的不確実性を捉えていることが確認された。
• 大規模な設定において、対角共分散と構造的共分散の変分事後分布は同等の性能を示し、深さを増せば平均場が十分であることが示唆された。
• 理論的分析により、深さが平均場仮定が課す関数的制約を軽減することが分かった。
• 本研究は、複雑な構造的事後分布の代替手段として、より深い平均場モデルを実用的かつ理論的に妥当な選択肢として強く支持する根拠を提供した。