[論文レビュー] Variational Inference in high-dimensional linear regression

Sumit Mukherjee, Subhabrata Sen|arXiv (Cornell University)|Apr 25, 2021

Statistical Methods and Inference参考文献 59被引用数 9

ひとこと要約

本稿は、積事前分布を伴う高次元線形回帰におけるナードル平均場変分ベイズ（nVB）近似の漸近的正しさの十分条件を確立する。非線形大偏差理論を用いて、事後分布の対数正規化定数の極限変分公式を導出し、'分離'条件が成立する場合、変分問題は一意な最適化子を持ち、それが事後分布の性質を支配することを証明する。これにより、nVBの高次元設定における有効性が保証される。

ABSTRACT

We study high-dimensional Bayesian linear regression with product priors. Using the nascent theory of non-linear large deviations (Chatterjee and Dembo,2016), we derive sufficient conditions for the leading-order correctness of the naive mean-field approximation to the log-normalizing constant of the posterior distribution. Subsequently, assuming a true linear model for the observed data, we derive a limiting infinite dimensional variational formula for the log normalizing constant of the posterior. Furthermore, we establish that under an additional "separation" condition, the variational problem has a unique optimizer, and this optimizer governs the probabilistic properties of the posterior distribution. We provide intuitive sufficient conditions for the validity of this "separation" condition. Finally, we illustrate our results on concrete examples with specific design matrices.

研究の動機と目的

• 高次元ベイズ線形回帰におけるナードル平均場変分ベイズ（nVB）近似が漸近的に正確である条件を理解すること。
• 事後分布の対数正規化定数に対するnVB近似の主要項の正しさを保証する十分条件を導出すること。
• 真の線形モデル下で、事後分布の対数正規化定数の極限無限次元変分公式を確立すること。
• '分離'条件の直感的な十分条件を同定し、変分最適化子の一意性を保証すること。
• 具体的な設計行列を用いた具体例を通じて理論的結果を提示し、フレームワークの経験的妥当性を検証すること。

提案手法

• 非線形大偏差理論の新興理論を適用し、高次元線形回帰における事後分布の対数正規化定数の漸近的挙動を分析する。
• 真の線形モデルと積事前分布の下で、対数正規化定数の極限無限次元変分公式を導出する。
• 変分問題の定式化を用いて事後の漸近的挙動を特徴づけ、最適化子が事後分布の確率的性質を決定することを示す。
• '分離'条件の下で最適化子の一意性を確立し、その条件が設計行列に関する直感的な十分条件で検証可能であることを示す。
• ヘッセ行列の解析と変分目的関数のヘッセ行列に対する固有値の下界を用いて、局所的凹型とグローバル最適性を証明する。
• GHS不等式と切り詰めガウス分布の性質を用いて、モーメント母関数の2次微分の下界を評価し、ヘッセ行列固有値に対する一様な下界を保証する。

実験結果

リサーチクエスチョン

• RQ1 積事前分布を伴う高次元線形回帰において、ナードル平均場変分ベイズ近似が漸近的に正確である条件は何か？
• RQ2 高次元領域において、事後分布の対数正規化定数の極限形は何か？
• RQ3 変分問題が一意な最適化子を持つのはいつか？ また、この最適化子は事後分布の確率的構造をどのように支配するか？
• RQ4 変分解の一意性に必要な'分離'条件を容易に検証可能な十分条件は何か？
• RQ5 理論的結果は具体的な設計行列に対してどのように動作するか？ また、標準的手法を超えた洞察をどのように提供するか？

主な発見

• 本稿は、高次元線形回帰における事後分布の対数正規化定数に対するナードル平均場変分ベイズ近似が漸近的に正確であるための十分条件を確立する。
• 真の線形モデルと積事前分布の下で、事後分布の対数正規化定数は、非線形大偏差理論を用いて導出された極限無限次元変分公式に収束する。
• 変分問題は、'分離'条件が成立する場合に一意な最適化子を持ち、この最適化子は事後分布の漸近的確率的挙動を完全に特徴づける。
• 変分目的関数のヘッセ行列固有値に対する一様な下界は、局所的凹型とグローバル最適性を保証する。この下界はGHS不等式と切り詰めガウス分布の性質を用いて導出される。
• '分離'条件の十分条件は直感的かつ検証可能であり、設計行列の最小固有値とモーメント母関数の2次微分の挙動に依存する。
• 理論的フレームワークは、具体的な設計行列を用いた具体例で検証され、nVB近似が他の手法では得られない詳細な統計的洞察を提供することが示された。