[論文レビュー] Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon

Jeremiah Zhe Liu|arXiv (Cornell University)|Dec 3, 2019

Fault Detection and Control Systems参考文献 50被引用数 4

ひとこと要約

本稿では、高次元変数選択におけるきめ細やかな不確実性評価を実現する深層ベイジアンニューラルネットワーク（BNN）手法を提案する。勾配に基づく変数重要度測度の事後信用区間を活用することで、変数効果の正確な学習と有効な頻度的カバレッジ（Bernstein-von Mises現象）を両立し、次元の呪いと多重比較の問題により従来手法が失敗する高次元設定でも、既存手法を上回る性能を発揮する。

ABSTRACT

This work develops rigorous theoretical basis for the fact that deep Bayesian neural network (BNN) is an effective tool for high-dimensional variable selection with rigorous uncertainty quantification. We develop new Bayesian non-parametric theorems to show that a properly configured deep BNN (1) learns the variable importance effectively in high dimensions, and its learning rate can sometimes "break" the curse of dimensionality. (2) BNN's uncertainty quantification for variable importance is rigorous, in the sense that its 95% credible intervals for variable importance indeed covers the truth 95% of the time (i.e., the Bernstein-von Mises (BvM) phenomenon). The theoretical results suggest a simple variable selection algorithm based on the BNN's credible intervals. Extensive simulation confirms the theoretical findings and shows that the proposed algorithm outperforms existing classic and neural-network-based variable selection methods, particularly in high dimensions.

研究の動機と目的

• 高次元変数選択における次元の呪いと多重比較の二重の課題に対処すること。
• 深層BNNが高次元において変数重要度を正確に学習するための理論的基盤を確立すること。
• BNNが信用区間を通じて補正された不確実性評価を提供し、正しい頻度的カバレッジを達成することを検証すること。
• 勾配に基づく重要度測度の事後信用区間を根拠とする実用的な変数選択アルゴリズムを開発すること。
• 本手法が古典的手法およびニューラルネットワークベースの変数選択手法と比較して、高次元領域で優れた性能を示すことを実証すること。

提案手法

• 各入力特徴量の変数重要度の測度として、$\psi_p(f) = \|\partial_{x_p}f\|_n^2$ の二乗積分勾配ノルムを用いる。
• 深層ニューラルネットワークに対してベイジアン推論を適用し、すべての$\psi_p(f)$における事後分布の結合分布を取得することで、同時に不確実性評価を可能にする。
• MCMCサンプリングを用いて、すべての特徴量における変数重要度の$(1-\alpha)$-レベル同時信用区間を計算する。
• 変数選択ルールを提案：信用区間がゼロを含まない場合に変数を含める。
• 事後集中および$\psi_p(f)$の漸近正規性を分析するための新しいベイジアン非パラメトリック定理を確立する。
• 事後分布が$\psi_p(f)$に対してガウス分布に収束する条件を導出し、有効な信用区間を保証する。

実験結果

リサーチクエスチョン

• RQ1 深層BNNは、真の回帰関数$f_0$を学習する速度と同等またはそれ以上の速度で、変数重要度$\psi_p(f)$を学習できるか？
• RQ2 事後分布$\psi_p(f)$は、Bernstein-von Mises（BvM）現象を満たすか。特に、95%信用区間が真の$\psi_p(f_0)$を95%の頻度でカバーするか？
• RQ3 高次元設定における多重比較下でも、BNNに基づく変数選択手法は有効な第1種誤り制御を維持できるか？
• RQ4 BNNによる変数重要度の学習速度が、入力次元$P$に指数的依存を示さない条件は何か。すなわち、次元の呪いを打ち破る条件は何か？
• RQ5 高次元非線形回帰において、BNNベースの手法はLASSO、knockoffs、および他のニューラルネットワークベースの変数選択手法と比較して、どのように性能を発揮するか？

主な発見

• 深層BNNは、真の回帰関数$f_0$を学習する速度と同等以上に、変数重要度$\psi_p(f)$を学習する。これは定理1で形式化されている。
• 特定の状況下では、変数重要度の学習速度が次元$P$に指数的依存を示さず、次元の呪いを効果的に打ち破る。これは命題1で示されている。
• 事後分布$\psi_p(f)$は、Bernstein-von Mises現象を満たしており、95%信用区間が真の$\psi_p(f_0)$を95%の頻度でカバーする。これは定理2および定理3で証明されている。
• 信用区間に基づく本手法は、LASSO、knockoffs、および他のニューラルネットワークベースの手法を含む、既存のアプローチを上回る。特に高次元非線形設定において顕著な優位性を示す。
• シミュレーション結果から、BNNは$f^*$の予測を学習するよりも、変数重要度$\psi_p(f)$を著しく高速に学習していることが示され、重要度推定の高い効率性を示している。
• スパース誘導正則化を必要とせず、モデルが適切に指定されている場合に、モデルベースの信用区間がきめ細やかな不確実性評価を実現することを示している。