[論文レビュー] Radial and Directional Posteriors for Bayesian Neural Networks

ChangYong Oh, Kamil Adamczewski+1 more|arXiv (Cornell University)|Feb 7, 2019

Gaussian Processes and Bayesian Inference参考文献 49被引用数 8

ひとこと要約

本稿では、重み分布の大きさ（径方向）と方向（方向性）に分解することで、ベイジアンニューラルネットワークにおける変分推論の新規フレームワークRDP（Radial and Directional Posteriors）を提案する。von Mises-Fisher分布を用いて依存関係をモデル化し、Half-Cauchyの事前分布と対数正規事後分布を組み合わせることで構造的プルーニングを可能にし、より少ないパラメータ数とFLOPsで、テスト尤度を向上させ、最先端の圧縮性能を達成する。

ABSTRACT

We propose a new variational family for Bayesian neural networks. We decompose the variational posterior into two components, where the radial component captures the strength of each neuron in terms of its magnitude; while the directional component captures the statistical dependencies among the weight parameters. The dependencies learned via the directional density provide better modeling performance compared to the widely-used Gaussian mean-field-type variational family. In addition, the strength of input and output neurons learned via the radial density provides a structured way to compress neural networks. Indeed, experiments show that our variational family improves predictive performance and yields compressed networks simultaneously.

研究の動機と目的

• 平均場変分推論が重みパラメータ間の統計的依存関係を無視するという限界を是正すること。
• 方向成分を用いて重み間の相関を捉える変分族を開発し、予測精度を向上させること。
• 径方向事後分布を活用して、低影響ニューロンを特定し、構造的ニューラルネットワークプルーニングを可能にすること。
• ディープラーニングフレームワークにおける高次元von Mises-Fisher分布の数値的安定性を確保した訓練を実現すること。
• 重みの大きさと方向の共同モデリングにより、予測性能とモデル効率の両方を同時に向上させること。

提案手法

• 各層の重みベクトルについて、変分事後分布を径方向（大きさ）と方向（角度）成分に分解する。
• 重みパラメータ間の方向的依存関係をモデル化するため、von Mises-Fisher（vMF）分布を用いる。これにより、高次元の重み空間における相関関係を捉える。
• 高次元vMF分布における安定な勾配推定を実現するため、修正ベッセル関数の比に対する新しい近似を提案する。
• スパarsityを促進し、閉形式でのKLダイバージェンス計算を可能にするために、径方向成分にHalf-Cauchy事前分布と対数正規事後分布を採用する。
• 確率的最適化における微分可能なサンプリングを可能にするために、vMF分布に対する再パラメトリゼーショントリックを適用する。
• 径方向事後分布の最頻値をプルーニングの閾値として用い、低影響ニューロンを削除することで、構造的圧縮を実現する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンニューラルネットワークにおける重みパラメータ間の方向的依存関係をモデル化することで、平均場近似よりも優れた予測性能が得られるか？
• RQ2 事後分布の径方向成分を、高い精度を維持したまま、構造的ニューラルネットワークプルーニングに効果的に活用できるか？
• RQ3 ディープラーニングにおける高次元von Mises-Fisher分布に対して、効率的かつ安定した変分推論が可能か？
• RQ4 テスト尤度およびモデル圧縮効率の観点から、提案手法RDPは既存手法と比較してどのように差をつけるか？
• RQ5 径方向および方向性事後分布の組み合わせにより、不確実性モデリングとモデル圧縮の両方を統合的に扱えるフレームワークが構築可能か？

主な発見

• 回帰タスクにおいて、RDPはVariational Inference や Dropout といった平均場BNNと比較して、9つのデータセットのうち5つでテスト尤度が優れている。
• LeNet-5においても、RDPは競争力ある圧縮性能を達成し、FLOPsを125K、パラメータ数を20Kに削減しながら、1.0%のテスト誤差を維持している。
• BC-GHS や BC-GNJ よりもFLOPs効率に優れており、20Kのパラメータと125KのFLOPsで、FDOO(100K)を上回るFLOPs効率を達成している。
• 径方向事後分布の対数モードには明確に分離されたクラスタが存在し、精度損失を最小限に抑えつつ効果的なプルーニングが可能である。
• 提案されたベッセル関数近似により、高次元vMF分布の安定した訓練が可能となり、数千次元へのスケーラビリティを実現している。
• 方向成分は意味のある重み相関を捉えており、平均場ベースラインを上回る予測性能の向上に寄与している。