[論文レビュー] Neuronized Priors for Bayesian Sparse Linear Regression

Minsuk Shin, Jun S. Liu|arXiv (Cornell University)|Sep 29, 2018

Gaussian Processes and Bayesian Inference参考文献 75被引用数 6

ひとこと要約

本稿では、係数を活性化関数を介して変換されたスケール変数とガウス重みの積としてモデル化することにより、ベイジアンスパース線形回帰におけるスパースプライアとスパースプライアの統合と拡張を図るニューロナイズド・プライアという新しいフレームワークを提案する。この手法により、潜在的インジケータを用いずに効率的で柔軟なMCMCサンプリングが可能となり、最適な事後分布収縮と標準的なスパイクアンドスラブおよびスパースプライアよりも高速な収束を達成する。実験的検証では、予測性能および変数選択性能が同等またはそれ以上であることが示された。

ABSTRACT

Although Bayesian variable selection methods have been intensively studied, their routine use in practice has not caught up with their non-Bayesian counterparts such as Lasso, likely due to difficulties in both computations and flexibilities of prior choices. To ease these challenges, we propose the neuronized priors to unify and extend some popular shrinkage priors, such as Laplace, Cauchy, horseshoe, and spike-and-slab priors. A neuronized prior can be written as the product of a Gaussian weight variable and a scale variable transformed from Gaussian via an activation function. Compared with classic spike-and-slab priors, the neuronized priors achieve the same explicit variable selection without employing any latent indicator variables, which results in both more efficient and flexible posterior sampling and more effective posterior modal estimation. Theoretically, we provide specific conditions on the neuronized formulation to achieve the optimal posterior contraction rate, and show that a broadly applicable MCMC algorithm achieves an exponentially fast convergence rate under the neuronized formulation. We also examine various simulated and real data examples and demonstrate that using the neuronization representation is computationally more or comparably efficient than its standard counterpart in all well-known cases. An R package NPrior is provided for using neuronized priors in Bayesian linear regression.

研究の動機と目的

• 高次元設定における既存のベイジアン変数選択手法、特にスパイクアンドスラブおよびスパースプライアの計算非効率性と柔軟性の欠如を解決すること。
• スパイクアンドスラブ・プライアにおける潜在的インジケータ変数の課題を、活性化関数による連続的かつ微分可能な変換に置き換えること。
• ラプラス、コーシー、ホースシューズ、スパイクアンドスラブなどの代表的なプライアを統一的フレームワークとして一般化する。
• ニューロナイズド・プライアが最小最大事後分布収縮率を達成する条件を理論的に導出することで、理論的最適性を保証すること。
• 離散的インジケータを避ける連続的パrameterizationにより、可逆ジャンプMCMCを回避し、収束速度を向上させるスケーラブルで効率的なMCMC推論を実現すること。

提案手法

• ニューロナイズド・プライアを $\theta_j = \nu_w \cdot \tau_j$ として定義し、$\nu_w \sim \pi_g$、$\tau_j \sim \pi_\tau$ とし、スケール $\tau_j$ をガウス潜在変数に活性化関数 $\phi(\cdot)$ を適用して変換する。
• ReLU、シグモイド、ソフトプラスなどの活性化関数を用いて標準正規変数をスケールパラメータにマッピングし、柔軟で共役でないプライア構成を可能にする。
• 階層ベイズモデルとしての同時プライアを構築：$\theta_j \mid \nu_w^2, \tau_j^2 \sim N(0, \nu_w^2 \tau_j^2)$、ここで $\tau_j = \phi(z_j)$、$z_j \sim N(0,1)$、$\nu_w \sim \pi_g$。
• 離散的潜在インジケータを避けるために、$\nu_w$、$z_j$、$\sigma^2$ の連続的かつ非制約パラメータ上でハミルトニアン・モンテカルロ（HMC）を用いたMCMCアルゴリズムを実装する。
• ニューロナイズド・プライアが最小最大事後分布収縮率を達成する理論的条件を導出し、頻度的最適性を保証する。
• Rパッケージ NPrior を開発し、ニューロナイズド・プライアを用いたスケーラブルなベイジアン線形回帰を可能にし、連続的および離散的スパイクアンドスラブ形式を両方サポートする。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンスパース線形回帰における代表的なスパースプライアとスパイクアンドスラブ・プライアを統一的に一般化するフレームワークを構築できるか？
• RQ2 スパイクアンドスラブ・プライアの潜在的バイナリインジケータを連続的かつ微分可能な活性化関数に置き換えることで、MCMCの効率性と事後分布サンプリング速度が向上するか？
• RQ3 高次元設定において、ニューロナイズド・プライアの定式化が最小最大最適事後分布収縮率を達成する条件は何か？
• RQ4 実データおよびシミュレートデータにおいて、ニューロナイズド・プライアの計算効率は、標準的なスパイクアンドスラブおよびスパースプライアと比較してどうなるか？
• RQ5 共役性が通常欠如する非線形モデル、例えばロジスティック回帰などに、ニューロナイズド・フレームワークを拡張できるか？

主な発見

• 活性化関数およびプライア分布の特定の条件下で、ニューロナイズド・プライア定式化は最小最大最適事後分布収縮率を達成する。
• 提案されたMCMCアルゴリズムは、ニューロナイズド定式化下で指数的速い収束率を達成し、混合度と収束速度において標準的手法を上回る。
• ボストン住宅およびバール・ビードル症候群のデータセットにおいて、ニューロナイズド・プライア（例：N-SpSL-C(RW)）は、同じ時間枠内で標準的なスパイクアンドスラブ手法よりも50％高い有効サンプルサイズ（ESS）を達成した。
• バール・ビードル症候群データセットにおいて、N-SpSL(MAP)は、標準的なスパイクアンドスラブ・プライアでさえも上回る、最小の予測外平均二乗誤差（MSPE）を達成した。
• ニューロナイズド・ホースシューズ・プライア（N-SpSL-C(RW)）は、標準的なホースシューズ・プライアよりもはるかに効率的な計算を実現し、シミュレートおよび実データの両方で収束が速く、ESSが高かった。
• CRANに公開されたRパッケージ NPrior を通じて、実務家は幅広いスパースプライアおよび変数選択モデルにニューロナイズド・プライアを簡単に実装できるようになった。