[論文レビュー] Validated Variational Inference via Practical Posterior Error Bounds

Jonathan H. Huggins, Mikołaj J. Kasprzak+2 more|arXiv (Cornell University)|Oct 9, 2019

Gaussian Processes and Bayesian Inference参考文献 53被引用数 9

ひとこと要約

本稿は、変分推論における事後平均および不確実性推定の計算的に効率的で理論的に裏付けられた誤差境界を導入する。ELBO、CUBO、および多項モーメントを活用することで、近似の品質を直接評価する厳密で自動化された境界を提供する。これは、誤差が小さい場合でも誤解を招く可能性がある従来の分布間距離に基づく指標の限界を克服するものである。

ABSTRACT

Variational inference has become an increasingly attractive fast alternative to Markov chain Monte Carlo methods for approximate Bayesian inference. However, a major obstacle to the widespread use of variational methods is the lack of post-hoc accuracy measures that are both theoretically justified and computationally efficient. In this paper, we provide rigorous bounds on the error of posterior mean and uncertainty estimates that arise from full-distribution approximations, as in variational inference. Our bounds are widely applicable, as they require only that the approximating and exact posteriors have polynomial moments. Our bounds are also computationally efficient for variational inference because they require only standard values from variational objectives, straightforward analytic calculations, and simple Monte Carlo estimates. We show that our analysis naturally leads to a new and improved workflow for validated variational inference. Finally, we demonstrate the utility of our proposed workflow and error bounds on a robust regression problem and on a real-data example with a widely used multilevel hierarchical model.

研究の動機と目的

• 変分推論における信頼性の高い後処理による精度測定法の欠如に応えること。これは理論的裏付けと計算効率の両方を満たす必要がある。
• 従来の方法がKLやα-発散に依存している点を克服すること。これらは、事後平均や分散の推定が著しく不正確であっても小さい値を示すことがある。
• 分布間の発散ではなく、事後分布の主要な出力（事後平均と不確実性）における誤差を直接的に定量化する境界を開発すること。
• 実世界のベイズモデリングワークフローにおいて、変分推論の結果を自動的かつ実用的に検証できる仕組みを可能にすること。
• 誤差境界を標準的な推論パイプラインに統合する、検証可能な変分推論のための新しいワークフローを提供すること。

提案手法

• α-発散とモーメント条件を用いて、真の事後分布と変分事後分布の間のウォッサーシュタイン距離に対する境界を導出する。
• 多項モーメントの仮定を通じて、スケールに依存するウォッサーシュタイン距離とスケールフリーなα-発散の間の関係を確立する。
• 標準的な変分推論目的（ELBOとCUBO）を用いて、α-発散（例：KL、α-発散）の境界を表現する。
• MCMCを用いずに、モンテカルロ推定と解析的計算を用いて境界を計算する。
• すべての要素を統合し、変分推論中または後に誤差境界を計算する実用的でエンドツーエンドのワークフローを構築する。
• 実世界のモデル（ロバスト回帰および多層階層ベイズモデルなど）にフレームワークを適用し、その有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 変分推論における事後平均および分散推定の誤差に対して、理論的に厳密で計算的に効率的な境界を提供できるか？
• RQ2 ELBO や CUBO といった標準的な変分推論目的は、分布間の発散ではなく、事後推定そのものの実際の誤差とどのように関係しているか？
• RQ3 標準的な変分推論の出力とモーメント条件のみを用いて、事後平均および不確実性の誤差を境界化できるか？
• RQ4 尾の挙動（例：多項モーメント対指数モーメント）が導出された誤差境界のタイトさに与える影響は何か？
• RQ5 提案された境界を用いて、実用的で自動化されたワークフローを構築し、応用ベイズモデリングにおける変分推論結果の検証を可能にできるか？

主な発見

• 本稿で提案する境界は、変分推論における事後平均および不確実性の誤差に対して、理論的に厳密で自動化され、計算的に効率的な推定を提供する最初のものである。
• 境界は、ELBO、CUBO、および多項モーメントといった標準的な変分推論の出力から導出されるため、実世界での利用に実用的である。
• KL 発散が小さい場合でも、事後平均や分散の推定は任意に不正確である可能性があり、発散指標ではなく直接的な誤差境界の必要性を示している。
• 指数モーメントが存在する場合には、よりタイトな境界が得られ、より強い尾の仮定のもとで性能が向上することが示された。
• ロバスト回帰問題と多層階層モデルにおける実証的検証により、誤った近似を検出するうえで境界の実用的有効性が確認された。
• 公開用のPythonパッケージ（viabel）がリリースされ、ブラックボックス変分推論と誤差境界計算を含むエンドツーエンドの実装を可能にした。