[論文レビュー] Building Bayesian Neural Networks with Blocks: On Structure, Interpretability and Uncertainty

Hao Zhou, Yunyang Xiong+1 more|arXiv (Cornell University)|Jun 10, 2018

Anomaly Detection Techniques and Applications参考文献 12被引用数 3

ひとこと要約

本論文は、加法的または階層的構成要素としてモデルを構造化することにより、解釈可能性と不確実性推定を向上させるブロックベースのフレームワークを導入する。計算スケルトンと二重確率的変分推論を活用することで、効率的な事後分布近似が可能となり、特に特化したベイジアン加法的ニューラルネットワーク（AddNN）バージョンが、ベンチマークデータセット上での相互作用の捉え込みにおいて優れた性能とスパarsityを示している。

ABSTRACT

We provide simple schemes to build Bayesian Neural Networks (BNNs), block by block, inspired by a recent idea of computation skeletons. We show how by adjusting the types of blocks that are used within the computation skeleton, we can identify interesting relationships with Deep Gaussian Processes (DGPs), deep kernel learning (DKL), random features type approximation and other topics. We give strategies to approximate the posterior via doubly stochastic variational inference for such models which yield uncertainty estimates. We give a detailed theoretical analysis and point out extensions that may be of independent interest. As a special case, we instantiate our procedure to define a Bayesian {\em additive} Neural network -- a promising strategy to identify statistical interactions and has direct benefits for obtaining interpretable models.

研究の動機と目的

• 構造化されたブロックを組み合わせることで、モジュラーかつ解釈可能なベイジアンニューラルネットワーク（BNNs）を構築するフレームワークの開発。
• ミニバッチ学習とスケーラビリティを支援する二重確率的変分推論を用いて、BNNにおける効率的な事後分布近似を実現。
• BNN、ディープガウス過程（DGPs）、ディープカーネル学習、およびランダム特徴量の間の理論的かつ実用的な関係を確立。
• 解釈可能性を向上させるために、スパースな加法的相互作用を明示的にモデル化するベイジアン加法的ニューラルネットワーク（AddNN）の設計。
• ベンチマークデータセット上で評価を行い、予測性能と不確実性の定量的評価が競争力を持つことを示す。

提案手法

• フレームワークは、再利用可能なブロックからBNNを構成する計算スケルトンの抽象化を用い、モデル構造のモジュラー設計を可能にする。
• 各ブロックは確率的コンポーネント（例：サブネットワーク）に対応し、重みに事前分布を設定することでベイジアン推論を可能にする。
• 事後分布の近似に二重確率的変分推論を採用し、ミニバッチ学習とバックプロパゲーションを可能にする。
• AddNNバージョンは、最終出力を小さな独立したサブネットワークの和として構築し、加法的構造とスパarsityを促進する。
• 各サブネットワークの第一層にグループラッソ正則化を適用し、スパースかつ解釈可能な入力特徴選択を促進する。
• 事後分布サンプリングを通じた不確実性推定をサポートし、特徴間の相互作用を特定するための経験的 $β$-ノルム相互作用測度を提供する。

実験結果

リサーチクエスチョン

• RQ1 ブロックベースのBNN構築法は、不確実性推定を維持しつつ、より優れた解釈可能性を実現できるか？
• RQ2 異なるブロックタイプは、ディープガウス過程（DGPs）やディープカーネル学習といった既存モデルとどのように関係しているか？
• RQ3 ベイジアン加法的ニューラルネットワーク構造は、高次元データにおけるスパースかつ解釈可能な相互作用を効果的に学習できるか？
• RQ4 提案された二重確率的変分推論スキームは、大規模データセットに対しても効率的にスケーリング可能であり、モデルの正確性を保持できるか？
• RQ5 モデルから導出された相互作用測度は、意味のある特徴依存関係を特定するのにとってどのように役立つか？

主な発見

• ベイジアン加法的ニューラルネットワーク（AddNN）は、ベンチマーク回帰タスクで最先端または競争力のある性能を達成し、ボストンでは RMSE 3.03±0.12、Kin8nm では 0.06±0.00、Power では 3.68±0.03 を記録した。
• AddNN は、エネルギー（0.65±0.03 vs. 1.66±0.04）やタンパク質（4.07±0.01 vs. 4.36±0.01）の複数のデータセットで MCドロップアウト や PBP を上回った。
• 入力からサブネットワークへの重み行列の可視化により、スパースな加法的構造が学習されていることが確認された。この図は、選択的かつ非一様な特徴の使用を示している。
• 計算コスト面では、AddNN は $k^{*}d^{2L-1}$ のスケーリングに従い、同等の深さと幅を持つ標準DNNに比べて ${k^{*}}^{2(L-1)}$ 倍の計算量で済む。
• $\mathbb{E}^n$ を相互作用測度のベースラインとして用いることで、$\delta(\mathbf{x}^0)$ よりも優れた経験的比較と特徴相互作用の検出が可能になった。
• 理論的根拠を備えたブロックベース構造を用いて、BNN、DGPs、ディープカーネル学習、およびランダム特徴量が統合された。