[論文レビュー] Variational Bayes under Model Misspecification

Zhaoran Wang, David M. Blei|arXiv (Cornell University)|May 26, 2019

Statistical Methods and Bayesian Inference参考文献 8被引用数 4

ひとこと要約

本稿は、モデルの不適合が見られる状況下における変分ベイズ（VB）の漸近的頻度的性質を確立し、VB事後分布およびその平均が真のデータ生成分布へのKullback-Leibler（KL）ダイバージェンスを最小化するパラメータ値に集中することを証明している。さらに、予測分布においてモデルの不適合誤差が変分近似誤差を上回ることを示し、近似の影響にもかかわらずVBの優れた実験的性能を説明している。

ABSTRACT

Variational Bayes (VB) is a scalable alternative to Markov chain Monte Carlo (MCMC) for Bayesian posterior inference. Though popular, VB comes with few theoretical guarantees, most of which focus on well-specified models. However, models are rarely well-specified in practice. In this work, we study VB under model misspecification. We prove the VB posterior is asymptotically normal and centers at the value that minimizes the Kullback-Leibler (KL) divergence to the true data-generating distribution. Moreover, the VB posterior mean centers at the same value and is also asymptotically normal. These results generalize the variational Bernstein--von Mises theorem [29] to misspecified models. As a consequence of these results, we find that the model misspecification error dominates the variational approximation error in VB posterior predictive distributions. It explains the widely observed phenomenon that VB achieves comparable predictive accuracy with MCMC even though VB uses an approximating family. As illustrations, we study VB under three forms of model misspecification, ranging from model over-/under-dispersion to latent dimensionality misspecification. We conduct two simulation studies that demonstrate the theoretical results.

研究の動機と目的

• 実際の応用で一般的に見られるように、仮定された統計モデルが不適合である状況下での変分ベイズ（VB）の理論的挙動を理解すること。
• 変分ベルンシュタイン＝フォン・ミーゼスの定理を不適合モデルに拡張し、VB事後分布およびその平均の漸近的正規性に関する結果を提供すること。
• VBにおける予測誤差に起因するモデル不適合と変分近似の相対的寄与度を定量化すること。
• 過小・過大分散や潜在次元の誤りを含む、さまざまな形のモデル不適合を想定したシミュレーションを通じて理論的知見の妥当性を検証すること。

提案手法

• 平均場変分族（因子分解可能な密度の族）を対象とし、漸近的頻度的ツールを用いた不適合下におけるVBの理論的分析。
• VB事後分布およびVB事後平均の極限分布の導出により、θ*（KLダイバージェンスの最小化点）におけるデルタ関数への確率的収束を示した。
• 不適合下での変分目的関数の収束を保証するため、Γ収束の技法を用いた。
• 局所ラプラス近似と集中不等式を用いて、θ*の周囲でスケーリングされたVB事後分布およびVB事後平均の漸近的正規性を導出。
• KLダイバージェンスを用いて、予測誤差の分解をモデル不適合誤差と変分近似誤差の成分に分離。
• StanのHMCおよびVB実装を用いたシミュレーションスタディにより、制御された不適合状況下での理論的結果の妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 モデル不適合下でも、VB事後分布は意味のあるターゲットパラメータ値に集中するか？
• RQ2 VB事後平均は漸近的に正規分布に従い、かつVB事後分布と同じ極限に収束するか？
• RQ3 モデル不適合と変分近似の誤差は、VB事後予測性能にどのように寄与するか？
• RQ4 変分ベルンシュタイン＝フォン・ミーゼスの定理を不適合モデルに一般化できるか？
• RQ5 過小・過大分散や誤った潜在次元性といった、さまざまな形のモデル不適合下で、VB事後分布の極限的挙動はどのように変化するか？

主な発見

• VB事後分布は、真のデータ生成分布p₀(x)へのKullback-Leibler（KL）ダイバージェンスを最小化するθ*に漸近的に集中する。
• VB事後平均もまた、θ*にほとんど確実に収束し、この点の周囲で漸近的に正規分布に従う。
• スケーリングされたVB事後分布√n(θ − θ*)は、0を中心とする正規分布に分布収束し、その分散共分散行列はモデルのフィッシャー情報量によって定まる。
• VB事後予測分布において、モデル不適合に起因する誤差が、変分近似に起因する誤差を支配しており、VBの優れた予測精度を説明している。
• 2つのシミュレーションスタディにより理論的知見が妥当であることが確認され、過小・過大分散や潜在次元の誤りを含むさまざまな不適合タイプにおいて一貫した収束と予測性能が得られた。
• 変分目的関数のΓ収束が確立され、正則性条件下で最小化点がKL最小化点θ*に収束することを証明した。