[論文レビュー] Variational approximations of empirical Bayes posteriors in high-dimensional linear models

Yue Yang, Ryan R. Martin|arXiv (Cornell University)|Jul 31, 2020

Statistical Methods and Inference参考文献 40被引用数 7

ひとこと要約

本稿では、データ駆動型の共役事前分布（薄尾）を用いて、高次元線形モデルにおける経験ベイズ後部確率分布の高速で変分的近似を提案する。この手法は、座標上昇変分インファレンスを用いて効率的な計算を実現しながら、最適な後部集中レートを達成し、シミュレーションスタディにおいて既存の手法を上回る性能を示す。

ABSTRACT

In high-dimensions, the prior tails can have a significant effect on both posterior computation and asymptotic concentration rates. To achieve optimal rates while keeping the posterior computations relatively simple, an empirical Bayes approach has recently been proposed, featuring thin-tailed conjugate priors with data-driven centers. While conjugate priors ease some of the computational burden, Markov chain Monte Carlo methods are still needed, which can be expensive when dimension is high. In this paper, we develop a variational approximation to the empirical Bayes posterior that is fast to compute and retains the optimal concentration rate properties of the original. In simulations, our method is shown to have superior performance compared to existing variational approximations in the literature across a wide range of high-dimensional settings.

研究の動機と目的

• スパース回帰係数を伴う高次元ベイズ線形モデルにおけるマルコフ連鎖モンテカルロ（MCMC）の計算負荷を軽減すること。
• MCMCの代替として計算効率が高く、最適な後部集中レートを維持する手法を開発すること。
• 既存の変分手法が、最適でない事前分布を使用するか、各反復で数値最適化を必要とするという制限を克服すること。
• スケーラブルで高速に計算可能な後部確率分布の近似を提供し、高次元設定において頻度的最適性を維持すること。

提案手法

• 本手法は、経験ベイズ後部確率分布の近似に、座標上昇変分インファレンス（CAVI）を用いる。
• データ駆動型の共役事前分布（薄尾）を用い、中心はデータから経験的に決定され、計算の tractability を保証する。
• 変分族は、モデルサブセット S における混合分布として構築され、線形予測子 ω_S = w^T β の後部確率分布に対する正規近似が用いられる。
• アルゴリズムは、共役構造から導かれる閉形式の更新式を用いて反復的に変分パラメータを更新し、数値ソルバーを回避する。
• 真の経験ベイズ後部確率分布の理論的性質と整合させることで、変分後部確率分布が最適レートに集中することを保証する。
• 真の後部確率分布と変分後部確率分布との全変動距離は、期待値としてゼロに収束することが示され、漸近的妥当性が保証される。

実験結果

リサーチクエスチョン

• RQ1 高次元線形モデルにおいて、最適な後部集中レートを維持する経験ベイズ後部確率分布の変分的近似を開発できるか？
• RQ2 提案手法は、MCMCよりも高速な計算を実現しながらも、頻度的最適性を保持できるか？
• RQ3 データ駆動型の共役事前分布（薄尾）を用いることで、変分近似の精度と収束性にどのような影響を与えるか？
• RQ4 標本サイズが増加する際、変分後部確率分布は真のスパースモデル構造（すなわち、サポート S^*）を一貫して特定できるか？
• RQ5 変分後部確率分布から導かれる信頼区間のカバレッジ特性は、真の後部確率分布と比較してどうなるか？

主な発見

• 提案された変分的近似は、真の経験ベイズ後部確率分布の理論的保証と一致する最適な後部集中レートを達成する。
• 真の後部確率分布と変分後部確率分布との全変動距離は、標本サイズが増加するにつれて期待値としてゼロに収束し、漸近的妥当性が保証される。
• 本手法は、多様な高次元設定において、シミュレーションで既存の変分近似を上回る性能を示す。
• 変分後部確率分布から導かれる信頼区間は、適切な頻度的カバレッジを示し、真のパラメータが下位分位数以下にある確率が名目水準に収束する。
• 共役でデータ駆動型の事前分布の使用により、変分アルゴリズムにおける閉形式の更新が可能となり、数値最適化を必要とする手法と比較して著しく計算速度が向上する。
• 本手法は、n → ∞ の際に真のモデルサポート S^* を高い確率で特定でき、変数選択における一貫性が確認される。