[論文レビュー] On Statistical Optimality of Variational Bayes

Debdeep Pati, Anirban Bhattacharya+1 more|arXiv (Cornell University)|Dec 25, 2017

Bayesian Methods and Mixture Models参考文献 39被引用数 9

ひとこと要約

この論文は、ベイズリスクと検定関数の存在、および変分目的関数の値を関連させることで、平均場変分ベイズが統計的に最適な点推定を提供する一般条件を確立する。弱い正則性条件の下で、変分インファレンスが、Latent Dirichlet Allocation やガウス混合モデルなどのモデルにおいてミニマックス最適レートを達成することを証明し、高次元設定におけるその使用を正当化する。

ABSTRACT

The article addresses a long-standing open problem on the justification of using variational Bayes methods for parameter estimation. We provide general conditions for obtaining optimal risk bounds for point estimates acquired from mean-field variational Bayesian inference. The conditions pertain to the existence of certain test functions for the distance metric on the parameter space and minimal assumptions on the prior. A general recipe for verification of the conditions is outlined which is broadly applicable to existing Bayesian models with or without latent variables. As illustrations, specific applications to Latent Dirichlet Allocation and Gaussian mixture models are discussed.

研究の動機と目的

• 頻度論的統計理論におけるパrameter推定のための変分ベイズを正当化する長年の未解決問題を解決すること。
• 真のパrameterに対して相対的な最適リスクバウンドを達成する変分点推定が成立する一般条件を導出すること。
• 潜在変数を含む多様なベイズモデルにおける統計的最適性を検証する統一的枠組みを提供すること。
• 変分ベイズが、LDA やガウス混合モデルのような非自明なモデルでミニマックスレートを達成できることを示すこと。
• 高次元およびビッグデータ設定における変分インファレンスの実証的成功と理論的正当性のギャップを埋めること。

提案手法

• 変分推定のベイズリスクを、真のパrameterとその近傍を一般距離尺度で区別できる検定関数の存在と関連付ける。
• エビデンス下限界（ELBO）をコアとなる最適化目的関数とし、集中不等式と事前分布の尾部挙動を用いてリスクバウンドを導出する。
• ハリントン距離とカルバック・ライブラー情報量を距離尺度として用い、真のパrameterまわりのKL近傍の挙動を分析する。
• 高次元ディリクレ事前分布からの事前分布濃度バウンドを適用し、真のパrameterのε-近傍における事前分布質量が十分に高いことを保証する。
• ブロック別平均場近似を用い、観測値およびブロックごとに潜在変数を独立とみなすことで、解析可能なリスク分析を可能にする。
• 推定誤差と事前分布濃度のバランスを最適化し、ε-ネットの議論とエントロピーの考察による調整により、最適レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 平均場変分ベイズが、どのような一般条件下で最適な頻度論的リスクを有する点推定を生成するのか？
• RQ2 変分後確率分布のベイズリスクは、検定関数の存在と変分目的関数の値の観点からバウンド可能か？
• RQ3 変分インファレンスは、LDA やガウス混合モデルのような高次元モデルでミニマックスレートを達成するか？
• RQ4 事前分布の選択は、変分推定の統計的最適性にどのように影響するか？
• RQ5 正確な後確率分布の収縮レートと変分点推定のリスクとの間にはどのような関係があるか？

主な発見

• 検定関数が距離尺度に対して存在し、かつ変分目的関数の値が十分に小さい場合、変分推定のベイズリスクがバウンドされることを確立した。
• 凸距離尺度の下では、変分点推定のリスクバウンドが正確な後確率分布の収縮レートと一致し、統計的効率の損失がないことを示した。
• Latent Dirichlet Allocation では、変分推定が対数要因までミニマックスレートを達成し、リスクバウンドが $ \lesssim \frac{dK}{n}\log n + \frac{dK}{n}\log\frac{d}{\varepsilon} $ で与えられる。
• ガウス混合モデルでは、リスクバウンドが $ \lesssim \frac{dK}{n}\log(Kn) + K\varepsilon^2 + \frac{dK}{n}\log\frac{d}{\varepsilon} $ であり、$ \varepsilon = \sqrt{d/n} $ のときミニマックスレートを達成する。
• 高次元ディリクレ事前分布のための事前分布濃度バウンドにより、真のパrameterのε-近傍における事前分布質量が十分にゆっくり減少することが保証され、最適推定が可能になる。
• 結果として、変分ベイズが非自明なモデルにおいて統計的に最適であることが確認され、ビッグデータおよび高次元設定におけるその使用が正当化された。