[論文レビュー] Multiplicative Normalizing Flows for Variational Bayesian Neural Networks

Christos Louizos, Max Welling|arXiv (Cornell University)|Mar 6, 2017

Gaussian Processes and Bayesian Inference参考文献 40被引用数 234

ひとこと要約

乗法的正規化フロー（MNFs）を導入し、ベイズ神経網の柔軟な変分後方分布を構築する。平均場アプローチと比べて予測精度と不確実性を改善しつつ、局所リパラメータ化のテクニックを保持する。

ABSTRACT

We reinterpret multiplicative noise in neural networks as auxiliary random variables that augment the approximate posterior in a variational setting for Bayesian neural networks. We show that through this interpretation it is both efficient and straightforward to improve the approximation by employing normalizing flows while still allowing for local reparametrizations and a tractable lower bound. In experiments we show that with this new approximation we can significantly improve upon classical mean field for Bayesian neural networks on both predictive accuracy as well as predictive uncertainty.

研究の動機と目的

• ラベル付きデータが不足している場合のニューラルネットワークにおける堅牢な不確実性推定を動機づける。
• 柔軟な後方分布を持つベイズNNのスケーラブルな変分推論フレームワークを開発する。
• 局所リパラメータ化の利点を失うことなく、近似後方分布を拡張するために乗法ノイズと正規化フローを組み込む。
• MNIST、CIFAR-10、および toy regression タスクにおいて、MNFsをドロップアウト、ディープアンサンブル、および事前/事後選択と比較して評価する。

提案手法

• W が q(z) からサンプルされた潜在変数 z により変調される条件付きガウス分布 q(W|z) で重みをモデル化する。
• q(z) に正規化フローを適用する（IAFスタイルの更新を用いた masked RealNVP を用いて混合分布を豊かにする）。
• エントロピー項を上限付け、可換的な変分下界を得るために、補助分布 r(z|W) を用いる。
• 変分目的関数の勾配ベース最適化を効率化するために局所リパラメータ化を維持する。
• MNFs 下で全結合層と畳み込み層のKL発散の下限と実用的な前方伝播を導出する。
• z-flow を層計算に組み込む順伝播アルゴリズムを提供する (Equations 3–6).

実験結果

リサーチクエスチョン

• RQ1 MNF 後方分布は、平均場ガウス後方分布よりも重みの真の後方分布をより良く近似しますか？
• RQ2 MNFs は、標準的なベイズ NN アプローチ（例：ドロップアウト、マトリクス Gaussian）および非ベイズのベースラインと比較して予測精度とキャリブレートされた不確実性を改善しますか？
• RQ3 対立的攻撃や分布外シナリオにおいて、MNFs は他の不確実性手法と比較してどのように性能を示しますか？
• RQ4 さまざまな事前分布（Gaussian vs. log-uniform）が MNF ベースの不確実性とスパーシティに与える影響は何ですか？
• RQ5 MNFs はディープアンサンブルと同等の性能を達成しつつ、優れた不確実性推定と効率を提供できますか？

主な発見

• MNFs は平均場後方分布より予測精度と不確実性を大幅に改善する。
• MNF ベースのモデルは notMNIST および CIFAR-10 でドロップアウトおよび深いアンサンブルと比較してより現実的な予測不確実性を提供する。
• 対敵性摂動下で、MNFs は高い信頼度を示すのではなく予測不確実性が増加する。
• 適切な事前分布（例：Gaussian vs. log-uniform）を用いた MNFs は、スパーシティと不確実性のプロファイルを異ならせ、事前分布の選択の重要性を強調する。
• MNFs は Dropout と競合する精度を達成しつつ、改善された不確実性挙動を提供し、いくつかの設定では Deep Ensembles の性能に近づくことができる。