[論文レビュー] Frequentist Consistency of Generalized Variational Inference

Jeremias Knoblauch|arXiv (Cornell University)|Dec 10, 2019

Gaussian Processes and Bayesian Inference参考文献 50被引用数 4

ひとこと要約

本稿では、一般化変分ベイズ推論の頻度的一貫性を確立し、近似事後分布が真のパラメータ値におけるデルタ関数に分布収束することを証明している。正則性条件下では、近似事後分布の系列が真のパラメータのまわりに漸近的に集中し、標本サイズが増加するにつれて誤差項がほとんど確実に消えることが保証される。

ABSTRACT

This paper investigates Frequentist consistency properties of the posterior distributions constructed via Generalized Variational Inference (GVI). A number of generic and novel strategies are given for proving consistency, relying on the theory of $Γ$-convergence. Specifically, this paper shows that under minimal regularity conditions, the sequence of GVI posteriors is consistent and collapses to a point mass at the population-optimal parameter value as the number of observations goes to infinity. The results extend to the latent variable case without additional assumptions and hold under misspecification. Lastly, the paper explains how to apply the results to a selection of GVI posteriors with especially popular variational families. For example, consistency is established for GVI methods using the mean field normal variational family, normal mixtures, Gaussian process variational families as well as neural networks indexing a normal (mixture) distribution.

研究の動機と目的

• ベイズ非パラメトリックおよび統計的学習設定における一般化変分ベイズ推論の頻度的一貫性を確立すること。
• 近似事後分布の系列が真のパラメータ値における点質量に分布収束することを示すこと。
• 標本サイズが増加するにつれて近似誤差項がほとんど確実に消える十分条件を導出すること。
• Γ収束と等コercivityを用いて変分目的関数の収束を形式化すること。

提案手法

• 弱い正則性仮定の下で、変分目的関数 $\overline{F}_n$ が $\mathbb{E}_q[\mathbb{E}_\mu[\ell(\bm{\theta}, \bm{x})]]$ にΓ収束することを示す。
• Ψ および $\overline{F}_n$ に関する補題を用いて、$\overline{F}_n$ の等コercivity を確立し、目的関数に対する一様な下界を保証する。
• $\varepsilon_n$-最小化子を、$\overline{F}_n(q_n) \leq \inf_q \overline{F}_n(q) + \varepsilon_n$ を満たす列 $q_n$ として定義する。ここで $\varepsilon_n$ は、経験的平均と母集団期待値との乖離を表す。
• 経験平均のほとんど確実収束を用いて、データ生成測度 $\mu$ の下で $\varepsilon_n \to 0$ がほとんど確実に成り立つことを証明する。
• 文献 [gammaConvergence] の系 7.24 を適用し、$\overline{q}_n \overset{\mathcal{D}}{\to} \delta_{\bm{\theta}^*}$ がほとんど確実に成り立つことを結論づける。
• 期待値の定義の妥当性を保証するため、Fubini型の議論と、データ測度 $\mu$ の下での損失関数のほとんど確実な有限性に依存する。

実験結果

リサーチクエスチョン

• RQ1 一般化変分ベイズ推論が、頻度的意味での一貫性を持つ近似事後分布を生成するための条件は何か？
• RQ2 Γ収束と等コercivity を用いて、変分目的関数 $\overline{F}_n$ の収束をどのように確立できるか？
• RQ3 近似誤差 $\varepsilon_n$ が $n \to \infty$ の際にほとんど確実に消えるための条件は何か？
• RQ4 近似事後分布の系列 $\overline{q}_n$ が真のパラメータ $\bm{\theta}^*$ におけるデルタ関数に分布収束することを示せるか？
• RQ5 事前分布の情報量と経験的リスク最小化の間の相互作用は、変分事後分布の一貫性にどのように影響するか？

主な発見

• 提示された仮定の下で、近似事後分布の系列 $\overline{q}_n$ は真のパラメータ $\bm{\theta}^*$ におけるデルタ関数に分布収束する。すなわち、$\overline{q}_n \overset{\mathcal{D}}{\to} \delta_{\bm{\theta}^*}$ である。
• 誤差項 $\varepsilon_n = 2\left| \mathbb{E}_{\overline{q}_n}\left[\frac{1}{n}\sum_{i=1}^n \ell(\bm{\theta}, x_i) \right] - \mathbb{E}_\mu[\ell(\bm{\theta}, \bm{x})] \right|$ は、$n \to \infty$ の際にほとんど確実にゼロに収束する。
• 変分目的関数 $\overline{F}_n$ は等コerciveであり、最小化列が適切な位相で有界であることを保証する。
• 仮定 LABEL:AS:min_exists, LABEL:AS:dirac, LABEL:AS:D, および LABEL:AS:suitable の下で、$\overline{F}_n$ が母集団リスク $\mathbb{E}_q[\mathbb{E}_\mu[\ell(\bm{\theta}, \bm{x})]]$ にΓ収束することが確立された。
• 有限最小化子の存在により、事前分布が無限に悪いものでなく、事後分布近似が事前分布を改善することが保証される。
• 近似事後分布 $\overline{q}_n$ の $\delta_{\bm{\theta}^*}$ への収束は、Γ収束、等コercivity、および経験平均のほとんど確実収束の組み合わせによって証明された。