[論文レビュー] $α$-Variational Inference with Statistical Guarantees

Yun Yang, Debdeep Pati+1 more|arXiv (Cornell University)|Oct 9, 2017

Gaussian Processes and Bayesian Inference参考文献 50被引用数 7

ひとこと要約

本稿では、明示的な統計的保証を備えたベイズ後部分布のための新しい変分近似族であるα-変分ベイズ（α-VB）を導入する。温度パラメータα ∈ (0,1]を導入することにより、証拠下限値（ELBO）とベイズリスクを結ぶ変分不等式を確立し、高次元線形回帰、ガウス・ミックスチャネル、トピックモデルを含む多様なモデルにおいて、α-VBの点推定が真のパラメータへ最適な頻度的収束速度で収束することを保証する。

ABSTRACT

We propose a family of variational approximations to Bayesian posterior distributions, called $α$-VB, with provable statistical guarantees. The standard variational approximation is a special case of $α$-VB with $α=1$. When $α\in(0,1]$, a novel class of variational inequalities are developed for linking the Bayes risk under the variational approximation to the objective function in the variational optimization problem, implying that maximizing the evidence lower bound in variational inference has the effect of minimizing the Bayes risk within the variational density family. Operating in a frequentist setup, the variational inequalities imply that point estimates constructed from the $α$-VB procedure converge at an optimal rate to the true parameter in a wide range of problems. We illustrate our general theory with a number of examples, including the mean-field variational approximation to (low)-high-dimensional Bayesian linear regression with spike and slab priors, mixture of Gaussian models, latent Dirichlet allocation, and (mixture of) Gaussian variational approximation in regular parametric models.

研究の動機と目的

• 標準的な変分ベイズに理論的基盤が欠如している問題に対処し、頻度的統計的保証を備えた統一的な変分推定フレームワークを構築すること。
• 標準的な変分ベイズ（α=1）を一般化し、モデル適合度と事前分布正則化のトレードオフを制御できる可変パrameter α ∈ (0,1]を有するより広い族α-VBに拡張すること。
• 証拠下限値（ELBO）とベイズリスクを結ぶ変分不等式を確立し、ELBOを最大化することで変分族内でのベイズリスクが最小化されることを保証すること。
• α-VBの点推定が、高次元および非パラメトリックモデルにおいて真の後部分布から得られる推定と同等の最適収束速度を達成することを示すこと。
• スパイクアンドスラブ事前分布を用いたベイズ線形回帰、混合モデル、潜在ディリクレ配分（LDA）といった代表的モデルにおいて、理論的結果の妥当性を検証すること。

提案手法

• α ∈ (0,1]のRényi発散度を含む変分目的関数を導入し、α=1のとき標準的なVB法に回帰するα-VBを一般化された変分推定法として提案する。
• 特にα ∈ (0,1]に対して、変分族のベイズリスクをα-VB目的関数の下限で有界化する新しい変分不等式を構築する。
• Rényi発散度と証拠下限値（ELBO）をコアな構成要素とし、ELBOを最適化することでベイズリスクを最小化することを目的とする。
• 変分リスクバウンズが成り立つ条件を検証するため、可測性（Assumption T）と事前分布の集中性（Assumption P）の仮定を適用する。
• 特にパラメータ空間がコンパクトまたは構造的であるモデルに対して、尤度比検定とシーブ構成を用いてAssumption Tを検証する。
• コンパクトなパラメータ空間における被覆数と度量エントロピーを用いて、変分解と頻度的後部分布の集中性を結びつけ、α-VB点推定の収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 標準的なVB法を超えて、変分ベイズ推定に頻度的統計的保証（例：最適収束速度）を付与することは可能か？
• RQ2 温度パラメータα ∈ (0,1]を導入することで、α=1のときの変分近似の統計的性質はどのように向上するか？
• RQ3 α-VBフレームワークにおいて、証拠下限値（ELBO）とベイズリスクを結ぶ変分不等式はどのように導出可能か？
• RQ4 α-VB手順が、真の後部分布からの推定と同等の速度で点推定が収束することを保証する条件は何か？
• RQ5 理論的枠組みは、スパイクアンドスラブ事前分布を用いたベイズ線形回帰や潜在ディリクレ配分といった高次元および潜在変数を含むモデルにどのように適用・検証可能か？

主な発見

• α ∈ (0,1]に対して、α-VB法はELBOを最大化することで変分族内でのベイズリスクを最小化することを保証し、ELBO最適化の統計的根拠を明確にした。
• α-VBから得られる点推定は、高次元ベイズ線形回帰を含む広範なモデルにおいて、真の後部分布からの推定と同等の最適収束速度で真のパラメータに収束する。
• 低次元ベイズ線形回帰における平均場近似では、収束速度はε_n² = d log n / nであり、尤度比検定と適切なシーブを用いてAssumption Tが検証された。
• スパース事前分布を用いた高次元ベイズ線形回帰では、収束速度はε_n² = s log(nd) / nであり、説明変数インデックス集合のスパース制約を満たすシーブを用いることでAssumption Tが成立する。
• ガウス・ミックスチャネルや潜在ディリクレ配分のようなコンパクトなパラメータ空間を持つモデルでは、シーブとして全パラメータ空間、損失関数として二乗ヘルンギング距離を用いることでAssumption Tが成立する。
• 潜在変数を含まない場合、理論的枠組みは事前に知られていた温度付き後部分布のリスクバウンズを再現し、α-VBアプローチの一般性と一貫性を裏付けた。