[論文レビュー] Overpruning in Variational Bayesian Neural Networks

Brian L. Trippe, Richard E. Turner|arXiv (Cornell University)|Jan 18, 2018

Gaussian Processes and Bayesian Inference参考文献 12被引用数 24

ひとこと要約

この論文は、より表現力のある変分族（例えば、フルランク共分散）を用いる際、隠れユニットを過剰にプルーニングするという病理的行動「変分的過剰プルーニング」を特定した。著者らは、出力重みの事後分布が高精度かつ平均がゼロに近づくと、入力重みがデータから条件付き独立となり、モデルの複雑さが低下するがデータ適合は向上しないこと、結果としてより単純な近似（例：重みノイズ）がより表現力のあるものよりも優れる理由を説明している。

ABSTRACT

The motivations for using variational inference (VI) in neural networks differ significantly from those in latent variable models. This has a counter-intuitive consequence; more expressive variational approximations can provide significantly worse predictions as compared to those with less expressive families. In this work we make two contributions. First, we identify a cause of this performance gap, variational over-pruning. Second, we introduce a theoretically grounded explanation for this phenomenon. Our perspective sheds light on several related published results and provides intuition into the design of effective variational approximations of neural networks.

研究の動機と目的

• ベイジアンニューラルネットワークにおけるより表現力のある変分近似が、なぜ時に単純な近似よりも悪い予測性能を示すのかを調査すること。
• 特に、ニューラルネットワークへの変分推論を適用した文脈において、性能低下の根本的要因を特定すること。
• 学習された分散を伴う変分ベイジアンニューラルネットワークで過剰プルーニングが生じる理論的説明を提供すること。
• 先行研究における直感に反する結果（例：最小の精度損失で98％のプルーニング率、変分ドロップアウトにおけるドロップアウト確率が1に近づく）を解明すること。
• 表現力のある族における過剰プルーニングのリスクを強調することで、効果的な変分近似の設計を支援すること。

提案手法

• 著者らは変分自由エネルギー（VFE）目的関数を分析し、尤度の期待値と事前分布からのKLダイバージェンスに分解する。
• 出力重み $ v_j $ の事後分布が非常に低い分散でゼロに集中する場合、対応する隠れユニットは非活性化され、その入力重み $ w_{j,i} $ はデータから分離される。
• これにより $ p(w_{j,i} | v_j = 0, \text{data}) = p(w_{j,i} | \alpha) $ が成り立ち、入力重みは事前分布に戻り、結果としてユニットがプルーニングされる。
• このメカニズムは、データ適合を向上させないまま、VFEにおける複雑さペナルティを低下させ、自由エネルギーを誤って低くする。
• UCI回帰データセット上で、平均場ガウス、フル共分散、重みノイズの複数の変分族を比較し、現象の実証的妥当性を検証する。
• 理論的分析により、過剰プルーニングはモデル適合と事前分布の複雑さのトレードオフに起因し、特に出力重みの事後分布がゼロに収束する場合に顕著であることが示された。

実験結果

リサーチクエスチョン

• RQ1 なぜベイジアンニューラルネットワークにおけるより表現力のある変分近似が、時に単純な近似よりも悪い予測性能を示すのか？
• RQ2 フルランク共分散のような表現力のある族において、直感に反する性能低下の原因は何か？
• RQ3 出力重みの事後分布がゼロに収束することで、なぜ全隠れユニットがプルーニングされるのか？
• RQ4 変分ドロップアウトや重みノイズのような手法が、顕著な精度損失なしに高いスパarsityやプルーニングを示すのはなぜか？
• RQ5 学習された分散を伴う変分ベイジアンニューラルネットワークで観察される過剰プルーニングを説明する理論的メカニズムは何か？

主な発見

• フル共分散（FC）変分族は、6つのUCI回帰データセットすべてにおいて、より表現力が低い平均場（MF）族よりも一貫して性能が劣る。
• 学習された分散を持たず、ユニットをプルーニングできない重みノイズ（WN）は、データセット全体で最も一貫性のある性能を示した。
• 平均場（MF）とFC近似の両方とも、出力重み $ v_j $ が高信頼度でゼロに推定される場合に過剰プルーニングを経験する。
• 理論的分析により、$ q(v_j) \approx \delta(0) $ の場合、入力重み $ w_{j,i} $ はデータから条件付き独立となり、事前分布に戻り、モデルの複雑さが低下する。
• この過剰プルーニングメカニズムは、データ適合を向上させないが、事後分布を事前分布に近づけることで自由エネルギーを誤って低下させる。
• この現象は、先行研究の観察結果（例：最小の精度損失で98％の重みプルーニング、変分ドロップアウトにおけるドロップアウト確率が1に近づく）を説明できる。