[論文レビュー] Concentration of tempered posteriors and of their variational approximations

Pierre Alquier, James Ridgway|arXiv (Cornell University)|Jun 28, 2017

Bayesian Methods and Mixture Models被引用数 4

ひとこと要約

本稿は、温度付き事後分布の変分ベイズ（VB）近似について、一般化されたオラクル不等式を確立し、ややいびつな正則性条件下でVB収束速度が温度付き事後分布のそれと一致することを示している。パラメトリック、高次元（行列補完）、非パラメトリック（密度推定）モデルにおける明示的な集中速度を導出し、PACベイジアン手法を用いて対数リプシッツ性を満たす尤度関数と有界損失関数の下で理論的保証を提示する。

ABSTRACT

While Bayesian methods are extremely popular in statistics and machine learning, their application to massive datasets is often challenging, when possible at all. Indeed, the classical MCMC algorithms are prohibitively slow when both the model dimension and the sample size are large. Variational Bayesian methods aim at approximating the posterior by a distribution in a tractable family. Thus, MCMC are replaced by an optimization algorithm which is orders of magnitude faster. VB methods have been applied in such computationally demanding applications as including collaborative filtering, image and video processing, NLP and text processing... However, despite very nice results in practice, the theoretical properties of these approximations are usually not known. In this paper, we propose a general approach to prove the concentration of variational approximations of fractional posteriors. We apply our theory to two examples: matrix completion, and Gaussian VB.

研究の動機と目的

• 大規模ベイジアン推論においてMCMCが非現実的となる状況においても、変分ベイズ（VB）近似に理論的保証を提供すること。
• 標準的な事後分布に限らない、より頑健な高次元または誤り指定された状況で有効な温度付き（分数）事後分布への集中速度解析を拡張すること。
• VB近似の質が事前分布の選択と変分族構造にどのように関連するかを結びつける一般化されたオラクル不等式を導出すること。
• VB近似が温度付き事後分布と同一の集中速度を達成する条件を確立すること。
• 理論的結果をパラメトリック、高次元（行列補完）、非パラメトリック（密度推定）モデルにおいて検証すること。

提案手法

• VB近似と温度付き事後分布との間の期待発散を、事前のKLダイバージェンスとモデルの対数尤度構造の関数として評価する一般化されたオラクル不等式を提案する。
• 尤度関数が有界でない場合の偽事後分布のVB近似を分析するために、PACベイジアン不等式を用いる。これにより、従来の有界損失フレームワークを拡張する。
• 0 < β < 1 である L^β(θ) を用いた温度付き事後分布を導入し、集中性の性質を向上させるとともに、正則性仮定を緩和する。
• オラクル不等式を応用し、対数リプシッツ尤度関数と変分目的関数の有界勾配条件の下で収束速度を導出する。
• 凸最適化理論からのレグレットバウンドを用いて、オンライン確率的勾配降下法（SGD）と平均化を組み合わせ、VB近似を効率的に計算する。
• BregmanダイバージェンスとKLダイバージェンスを用いて事後分布の集中度を定量化し、変分近似誤差とモデルの複雑さ・事前情報の関係を結びつける。

実験結果

リサーチクエスチョン

• RQ1 変分ベイズ近似が温度付き事後分布と同一の速度で集中する条件は何か？
• RQ2 VB近似理論において、無限大尤度関数を扱うためにPACベイジアン手法をどのように適合させられるか？
• RQ3 対数リプシッツ尤度関数を有するパラメトリックモデルにおけるVBの理論的収束速度は何か？
• RQ4 行列補完のような高次元モデルにおいて、ややいびつな正則性条件下でもVBが一貫性のある推定を達成できるか？
• RQ5 ガウス混合モデルやカーネル法を用いた密度推定のような非パラメトリックモデルにおけるVBの理論的保証は何か？

主な発見

• 本稿は、VB近似の質が事前分布と変分族 $\tilde{\rho}$ の構造にどのように関連するかを示す一般化されたオラクル不等式を導出し、近似誤差が事前のKLダイバージェンスとモデルの尤度構造によって制御されることを示した。
• 対数リプシッツ尤度関数を有するパラメトリックモデルでは、VB近似が温度付き事後分布と同一の集中速度を達成し、一貫性と効率性を保証する。
• 高次元行列補完では、VB近似の収束速度が $ O\big(\frac{d \text{rank}(X)}{n}\big) $ に達し、ややいびつな仮定のもとで既知のミニマックスレートと一致する。
• 非パラメトリック密度推定では、適切な滑らかさと事前分布の正則性条件のもとで、VB近似の収束速度が $ O(n^{-\frac{1}{2}}) $ に達する。
• VBアルゴリズムにオンラインSGDと平均化を組み合わせることで、$ O(\frac{1}{\tau^{1/2}}) $ のレグレットバウンドが得られ、これは変分目的関数の期待値における収束速度 $ O(\frac{1}{\tau^{1/2}}) $ に相当する。
• 本理論は、従来の有界損失関数に制限された先行研究の限界を克服するため、PACベイジアン境界の新規な適合を用いて無限大尤度関数にも適用可能である。