[論文レビュー] Nearly Optimal Variational Inference for High Dimensional Regression with Shrinkage Priors

Jincheng Bai, Qifan Song+1 more|arXiv (Cornell University)|Oct 24, 2020

Statistical Methods and Inference参考文献 31被引用数 4

ひとこと要約

本稿では、スチューデントt分布のような重たい尾を持つ縮約事前分布を用いた高次元線形回帰のための変分ベイズ（VB）手法を提案する。座標降下法による同時KLダイバージェンスの最小化により、ほぼ最適な事後分布収縮率を達成し、理論的妥当性を保証するとともに、MCMCに比べて優れた計算効率を実現する。実験結果では、計算が高速で、推定精度が高く、変数選択誤差が低いことが示された。

ABSTRACT

We propose a variational Bayesian (VB) procedure for high-dimensional linear model inferences with heavy tail shrinkage priors, such as student-t prior. Theoretically, we establish the consistency of the proposed VB method and prove that under the proper choice of prior specifications, the contraction rate of the VB posterior is nearly optimal. It justifies the validity of VB inference as an alternative of Markov Chain Monte Carlo (MCMC) sampling. Meanwhile, comparing to conventional MCMC methods, the VB procedure achieves much higher computational efficiency, which greatly alleviates the computing burden for modern machine learning applications such as massive data analysis. Through numerical studies, we demonstrate that the proposed VB method leads to shorter computing time, higher estimation accuracy, and lower variable selection error than competitive sparse Bayesian methods.

研究の動機と目的

• 高次元線形回帰におけるスパース性を誘導する縮約事前分布を用いた、計算効率の良いベイズ推論手法の開発。
• 適切な事前分布仕様のもとで、変分事後分布の理論的一貫性とほぼ最適な収縮率の確立。
• MCMCと同等の理論的性能を有するが、はるかに低い計算コストを実現するスケーラブルな代替手法の提供。
• 既存のスパースベイズ手法と比較して、推定精度、変数選択、実行時間の面で実験的に優れた性能を示すこと。

提案手法

• 変分事後分布と真の事後分布との間の同時KLダイバージェンスを最小化することで、係数βと潜在的精度パラメータλの両方に関して、事後分布を近似する変分推論を用いる。
• 平均場変分族を採用し、近似事後分布q(β)を、位置μ、尺度s、自由度νを持つ多変量スチューデントt分布とする。
• 負の下界期待値（ELBO）を用いて、μ、a_j、b_j、およびσ（未知の場合）の閉形式の座標降下更新式を導出する。
• 誤差分散σ²が既知または推定可能な高次元回帰に適用し、係数β_jに階層的事前分布を設定し、精度に逆ガンマハイパーパラメータを割り当てる。
• βのみの理論的に最適な周辺KL最小化を計算的に実行可能なβとλの両方に対する同時KL最小化の近似として、その有効性を裏付ける。
• 理論的性能を比較するために、トピック例としてAdam最適化法を用いて周辺KL最小化を実行し、同時に同時KL最小化との差を検証した。その結果、性能差は最小限に抑えられ、両手法の差が小さいことが確認された。

実験結果

リサーチクエスチョン

• RQ1 スパース化事前分布を用いた変分推論は、高次元回帰においてほぼ最適な事後分布収縮率を達成できるか？
• RQ2 提案手法のVB法の計算効率は、高次元設定におけるMCMCベースの手法と比べてどの程度か？
• RQ3 βとλの両方に関してKLダイバージェンスを最小化することは、理論的に最適なβのみの周辺KL最小化をよく近似できるか？
• RQ4 VB法は、著しく短い実行時間で推定精度を高く保ち、変数選択誤差を低く抑えることができるか？

主な発見

• 適切な事前分布の設定のもとで、提案手法のVB法はほぼ最適な事後分布収縮率を達成し、MCMCの代替として理論的に妥当であることが裏付けられた。
• MCMCに比べて計算コストを著しく削減でき、大規模データへのスケーラブルな推論を可能にした。
• 数値実験では、競合するスパースベイズ手法と比較して、計算時間が短く、推定精度が高く、変数選択誤差が低いことが示された。
• トピック例として、同時KL最小化と周辺KL最小化を比較した結果、非ゼロ成分における推定誤差（MSE ≈ 0.011）とゼロ成分における推定誤差（MSE ≈ 0.0006）の差は最小限に抑えられ、同時KL最小化の実用的有効性が裏付けられた。
• 正則性条件（Xの列ノルムが有界で、モデル次元が増大するがスパースでない）のもとで、VB事後分布は一貫性を示す。