[論文レビュー] Convergence Rates of Variational Posterior Distributions

Fengshuo Zhang, Chao Gao|arXiv (Cornell University)|Dec 7, 2017

Statistical Methods and Inference参考文献 40被引用数 10

ひとこと要約

この論文は、一般化された事前分布、尤度関数、および変分クラスに関する条件を導出し、非パラメトリックおよび高次元モデルにおける変分後退分布の収束速度を確立する。収束速度は、真の後退分布の収束速度と、変分近似誤差項の和として表され、混合積事前分布のための新しい事前分布質量条件のもとで、近似誤差は統計的誤差に支配され、平均場変分ベイズ推定の最適性能が保証される。

ABSTRACT

We study convergence rates of variational posterior distributions for nonparametric and high-dimensional inference. We formulate general conditions on prior, likelihood, and variational class that characterize the convergence rates. Under similar "prior mass and testing" conditions considered in the literature, the rate is found to be the sum of two terms. The first term stands for the convergence rate of the true posterior distribution, and the second term is contributed by the variational approximation error. For a class of priors that admit the structure of a mixture of product measures, we propose a novel prior mass condition, under which the variational approximation error of the mean-field class is dominated by convergence rate of the true posterior. We demonstrate the applicability of our general results for various models, prior distributions and variational classes by deriving convergence rates of the corresponding variational posteriors.

研究の動機と目的

• 非パラメトリックおよび高次元推定問題における変分後退分布の理論的収束速度を確立すること。
• 真のデータ生成分布への変分後退分布の収束を保証する、事前分布、尤度関数、および変分クラスに関する一般的な条件を同定すること。
• 混合積事前分布に特化した新しい事前分布質量条件のもとで、変分近似誤差が真の後退分布の統計的誤差に支配されることを示すこと。
• 密度推定、ガウス系列モデル、および区分的定数モデルを含むさまざまなモデルへのフレームワークの適用可能性を示すこと。
• 平均場近似を通じて、経験ベイズと変分ベイズの理論的関係を明らかにすること。

提案手法

• 論文は、変分後退分布の一般化された収束速度バウンドを $ \epsilon_n^2 + \frac{1}{n} \inf_{Q \in \mathcal{S}} P_0^{(n)} D(Q \| \Pi(\cdot|X^{(n)})) $ として定式化し、ここで $ \epsilon_n^2 $ は真の後退分布の収束速度であり、第二項は変分近似誤差である。
• 混合積事前分布のための新しい事前分布質量条件を導入する：$ \Pi(\otimes_j \widetilde{\Theta}_j) \geq \exp(-C_2 n \epsilon_n^2) $、この条件下で変分誤差は真の後退分布の収束速度に支配される。
• 後退分布収縮理論における「事前分布質量と検定」フレームワークを借用し、同じ3つの核心的条件（事前分布質量、検定、サポート）を保ちながら、変分ベイズに適応する。
• 平均場変分クラス $ \mathcal{S}_{\rm MF} $ に対して、事前分布が新しい条件を満たす場合、近似誤差が制御され、変分後退分布が真の後退分布と同じ収束速度を達成することを示す。
• 経験ベイズ手順が、特別に設計された変分クラスを用いた変分ベイズと等価であることを示し、両者の理論的性質の類似性を示唆する。
• 具体的なモデルにこのフレームワークを適用し、ガウス系列モデルや区分的定数モデルに対して、提案された条件下での明示的な収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 変分後退分布が真のパラメータに真の後退分布と同等の速度で収束するのはどのような条件下か？
• RQ2 変分近似誤差を真の後退分布の統計的誤差に対して無視できる程度に小さくできるか？
• RQ3 どのように事前分布を構築すれば、平均場変分ベイズ推定が最適な収束速度を達成できるか？
• RQ4 経験ベイズと変分ベイズ手順の理論的関係は何か？
• RQ5 「事前分布質量と検定」フレームワークを、最小限の修正で変分後退分布の解析に拡張できるか？

主な発見

• 変分後退分布の収束速度は、$ \epsilon_n^2 + \frac{1}{n} \inf_{Q \in \mathcal{S}} P_0^{(n)} D(Q \| \Pi(\cdot|X^{(n)})) $ で抑えられ、第一項は真の後退分布の収束速度、第二項は変分近似誤差である。
• 混合積事前分布と平均場変分クラスの下で、事前分布が $ \Pi(\otimes_j \widetilde{\Theta}_j) \geq \exp(-C_2 n \epsilon_n^2) $ を満たす場合、近似誤差は真の後退分布の収束速度に支配される。
• スパarsity誘導事前分布を用いたガウス系列モデルでは、変分後退分布の収束速度は $ \min_k \left\{ \|\theta^* - \theta_0\|^2 + k \log n \right\} $ に達し、最適な後退分布の収束速度と一致する。
• 論文は、経験ベイズ手順が特定の変分クラスを用いた変分ベイズと等価であることを示し、両者の理論的性質の類似性を示唆する。
• 条件 $ \Pi(\otimes_j \widetilde{\Theta}_j) \geq \exp(-C_2 n \epsilon_n^2) $ は、変分誤差が無視できるために必要かつ十分であり、実務上は容易に検証可能である。
• このフレームワークは、密度推定や区分的定数モデルを含む広範なモデルに適用可能であり、新しい事前分布質量条件のもとで、変分後退分布はミニマックス最適収束速度を達成する。