[論文レビュー] Spike and slab variational Bayes for high dimensional logistic regression

Kausik K. Ray, Botond Szabó+1 more|arXiv (Cornell University)|Oct 22, 2020

Statistical Methods and Inference参考文献 55被引用数 11

ひとこと要約

本稿では、スパース性を促進する事前分布を用いた高次元ロジスティック回帰に対して、平均場スパイク・スラブ変分ベイズ（VB）手法を提案する。スパースな真の状態のもとで、ℓ₂誤差および予測誤差の両方において最適なミニマックス収束速度を達成する。この手法は、未知のスパース性に適応可能であり、調整を必要とせず、理論的保証により、ラプラススラブがガウススラブを上回ることを確認した。これは、実験的性能の向上を裏付ける。

ABSTRACT

Variational Bayes (VB) is a popular scalable alternative to Markov chain Monte Carlo for Bayesian inference. We study a mean-field spike and slab VB approximation of widely used Bayesian model selection priors in sparse high-dimensional logistic regression. We provide non-asymptotic theoretical guarantees for the VB posterior in both $\ell_2$ and prediction loss for a sparse truth, giving optimal (minimax) convergence rates. Since the VB algorithm does not depend on the unknown truth to achieve optimality, our results shed light on effective prior choices. We confirm the improved performance of our VB algorithm over common sparse VB approaches in a numerical study.

研究の動機と目的

• 高次元ロジスティック回帰に適したスパース性を促進する事前分布を用いた、スケーラブルで理論的裏付けのある変分ベイズアプローチの開発。
• スパースな真の状態のもとで、ℓ₂誤差および予測誤差におけるVBの非漸近的理論的保証の確立。
• 事前分布のスラブ分布の選択（例：ラプラス vs. ガウス）がVB性能および理論的最適性に与える影響の調査。
• VBが、真のスパース性レベルに依存せずに最適な収束速度を達成できることの実証。調整の複雑さを回避する。
• スパースベイジアンロジスティック回帰における有効な事前分布とVBキャリブレーションの実用的洞察の提供。

提案手法

• この手法は、因子分解可能なスパイク・スラブ分布の平均場変分族を用い、モデル空間の$2^p$から$O(p)$の複雑さに削減する。
• 不確実な事後分布を、スパースな変分族上でのKullback-Leibler発散の最小化により近似する。
• VBアルゴリズムは、$x^2$におけるテイラー展開を用いた対数尤度の下界を用い、取り扱い可能な最適化を可能にする。
• 変分パラメータ$\mu$, $\sigma$, および $\gamma$ の更新式は、期待値最大化を介して導出され、$\widetilde{\eta}_i^2 = \mathbb{E}_{\mu,\sigma,\gamma}[(x_i^T\theta)^2]$ となる。
• ロジスティック関数の対称性および凸性の性質を活用し、対数尤度のタイトな下界を導出する。
• 理論的分析は、KL発散のバウンディングおよび設計行列とスパースリティレベルに関する条件の下での収束速度の導出に依存する。

実験結果

リサーチクエスチョン

• RQ1 平均場スパイク・スラブVBは、スパースな真の状態のもとで、高次元ロジスティック回帰において最適なミニマックス収束速度を達成できるか？
• RQ2 事前分布のスラブ分布の選択（ラプラス vs. ガウス）は、VB性能および理論的最適性に顕著な影響を与えるか？
• RQ3 VBは、ハイパーパrameter、特にスパースリティレベルを調整することなく、最適な収束速度を達成できるか？
• RQ4 設計行列にどのような条件下で、VB手法は一貫性と効率性を保つのか？
• RQ5 VB事後分布は、標準的なスパースVBおよび他の最先端のベイジアン変数選択手法と比べて、実験的にどのように比較されるか？

主な発見

• 提案されたVB手法は、真の事後分布と同一の条件下で、ℓ₂誤差および予測誤差の両方において最適なミニマックス収束速度を達成し、理論的頑健性を確認した。
• ラプラススラブを用いたVB事後分布は最適なパラメータ回復を達成するが、ガウススラブでは過剰な縮小が生じ、性能が最適でない。
• 非漸近的バウンディングにより、VB手法が真のスパースリティレベルを知らなくても最小最大レートに収束することが示された。
• 数値的実験では、ラプラススラブを用いたVBが、ガウススラブを用いた標準VBよりも推定および予測精度で優れていることが確認された。
• この手法は、ロジスティック回帰における最先端のベイジアンスパース変数選択技術と実験的に同等の性能を示した。
• 理論的分析により、より重い尾を持つスラブ（例：ラプラス）がVBの最適性能に不可欠であることが明らかになった。これは線形回帰における発見と整合的である。