[論文レビュー] Masked Bayesian Neural Networks : Theoretical Guarantee and its Posterior Inference

Insung Kong, Dong‐Yoon Yang+4 more|arXiv (Cornell University)|May 24, 2023

Fault Detection and Control Systems被引用数 4

ひとこと要約

本稿は、真のモデルの滑らかさに関する事前の知識がなくても、スパースなアーキテクチャを適応的に選択しながら、ほぼミニマックス最適な事後分布の集中レートを達成するマスク付きベイジアンニューラルネットワーク（mBNN）を提案する。また、局所的な情報付きの提案分布を用いた新しいMCMCアルゴリズムを導入し、ベンチマークデータセットにおいて一般化性能と不確実性の定量化の両面で既存手法を上回る性能を発揮する。

ABSTRACT

Bayesian approaches for learning deep neural networks (BNN) have been received much attention and successfully applied to various applications. Particularly, BNNs have the merit of having better generalization ability as well as better uncertainty quantification. For the success of BNN, search an appropriate architecture of the neural networks is an important task, and various algorithms to find good sparse neural networks have been proposed. In this paper, we propose a new node-sparse BNN model which has good theoretical properties and is computationally feasible. We prove that the posterior concentration rate to the true model is near minimax optimal and adaptive to the smoothness of the true model. In particular the adaptiveness is the first of its kind for node-sparse BNNs. In addition, we develop a novel MCMC algorithm which makes the Bayesian inference of the node-sparse BNN model feasible in practice.

研究の動機と目的

• 一般化性能と不確実性定量化の向上を目的とした、強固な理論的性質を備えたノードスパースなベイジアンニューラルネットワーク（BNN）モデルの開発。
• 真のモデルの滑らかさに適応可能な、ほぼミニマックス最適な事後分布の集中レートを確立すること。これはノードスパースBNNにおいて初の試みである。
• ノードスパースBNNに特化した計算的に実行可能なMCMC推論アルゴリズムの設計。従来の変分推論やMCMC手法の限界を克服することを目的とする。
• mBNNが深層ニューラルネットワークの圧縮において、予測不確実性と性能を維持しながら有効であることを実証すること。

提案手法

• ノードスパースな事前分布を用い、スパイクアンドスラブに類似した構造により、隠れユニットレベルでのスパース性を誘導するマスク付きBNN（mBNN）モデルを提案。
• 事後分布サンプリング中にスパースなネットワークアーキテクチャを効率的に探索できる、局所的な情報付きの提案分布を備えた新しいメトロポリス・ハスティングス（MH）MCMCアルゴリズムを採用。
• 各隠れユニットがバイナリーマスク変数に関連付けられ、全ノードの活性化とプルーニングを可能にするマスク構造を導入。
• グローバルスパースパラメータλを用いた階層的事前分布を採用し、スパース性を制御。これにより、データの複雑さに応じた自動的なアーキテクチャ選択が可能となる。
• 収束を保証し相関を低減するために、バーニングフェーズとスプライシングを適用したMCMCアルゴリズムを用いて事後分布サンプルを生成。
• ミニバッチ学習に適応するため、MHBTスタイルの修正を施したMHアルゴリズムを採用。これにより、確率的勾配下でも正しく収束する。

実験結果

リサーチクエスチョン

• RQ1 ノードスパースなBNNは、真のモデルの未知の滑らかさに適応しつつ、ほぼミニマックス最適な事後分布の集中レートを達成できるか？
• RQ2 変分近似に依存せずに、ノードスパースBNNにおける実用的なベイジアン推論を可能にする効率的なMCMCアルゴリズムを設計することは可能か？
• RQ3 mBNNは、標準的なBNNや変分推論手法と比較して、不確実性定量化と一般化性能においてどの程度優れているか？
• RQ4 mBNNは、予測性能と不確実性推定を維持しながら、深層ニューラルネットワークをどの程度圧縮できるか？

主な発見

• mBNNは、真のモデルの滑らかさに適応可能な、ほぼミニマックス最適な事後分布の集中レートを達成した。これはノードスパースBNNにおいて初の成果である。
• UCIデータセットでは、λ=0.1のmBNNが95%信用区間（CI）で93.3%のカバレッジ、RMSEが2.902、NLLが2.472を達成し、NS-VIや標準BNNを上回った。
• CIFAR-10では、mBNNが元のモデルのFLOPsのたった3.82%で93.3%のテスト精度を達成し、効果的な圧縮と高い効率性を示した。
• mBNNはλの値に関わらず安定した性能を示し、スパースネスレベルがλに比例することが確認され、回帰および分類タスクの両方で頑健性を示した。
• MHBT互換性を持つ提案されたMCMCアルゴリズムにより、ミニバッチ上でも正確な推論が可能となり、収束性と事後分布の質が保たれた。
• mBNNは、例えばボストンデータセットで1000個から12個にまで活性化ノード数を大幅に削減したが、予測性能や不確実性のキャリブレーションに影響を与えないことを確認した。