[論文レビュー] Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence

Ghassen Jerfel, Serena L Wang+4 more|arXiv (Cornell University)|Jul 27, 2021

Machine Learning and Algorithms被引用数 10

ひとこと要約

本稿では、事後分布よりも尾が重い提案分布を構築するために、前向きKullback-Leibler発散を最小化する新しい変分精錬手法を提案する。この手法は漸近的整合性を保証し、最適なIS推定と変分近似の両方への収束を高速化し、RKLに基づく手法を上回り、実データにおいて変分ブースティングおよびMCMCと同等の性能を示す。

ABSTRACT

Variational Inference (VI) is a popular alternative to asymptotically exact sampling in Bayesian inference. Its main workhorse is optimization over a reverse Kullback-Leibler divergence (RKL), which typically underestimates the tail of the posterior leading to miscalibration and potential degeneracy. Importance sampling (IS), on the other hand, is often used to fine-tune and de-bias the estimates of approximate Bayesian inference procedures. The quality of IS crucially depends on the choice of the proposal distribution. Ideally, the proposal distribution has heavier tails than the target, which is rarely achievable by minimizing the RKL. We thus propose a novel combination of optimization and sampling techniques for approximate Bayesian inference by constructing an IS proposal distribution through the minimization of a forward KL (FKL) divergence. This approach guarantees asymptotic consistency and a fast convergence towards both the optimal IS estimator and the optimal variational approximation. We empirically demonstrate on real data that our method is competitive with variational boosting and MCMC.

研究の動機と目的

• 変分推論における逆Kullback-Leibler発散の限界を解決すること。逆KLは事後分布の尾部を過小評価し、校正が不正確になる。
• 提案分布がターゲット事後分布よりも尾が重くなるようにすることで、重要度サンプリングの提案品質を向上させること。
• 前向きKL最小化を通じて、変分推論と重要度サンプリングを統合する統一フレームワークを構築すること。
• 両方のIS推定と変分近似において、漸近的整合性と高速収束を達成すること。
• 実世界のデータにおいて、RKLに基づく変分推論やMCMCと同等の性能を示す実用的代替手法を提供すること。

提案手法

• 提案分布と真の事後分布の間の前向きKullback-Leibler発散を最小化する変分精錬手順を定式化すること。
• 前向きKL最小化により重要度サンプリングの提案分布を構築し、自然にターゲット分布よりも尾が重くなるように誘導すること。
• 前向きKL最適化の性質を活用して、得られるIS推定量の漸近的整合性を保証すること。
• 2段階の推論パイプライン（変分近似の後に重要度サンプリングの精錬）に前向きKLに基づく提案を統合すること。
• 前向きKLの目的関数を用いて、正確な事後分布近似と頑健なIS推定の両方のための提案を同時に最適化すること。
• 前向きKLを最小化することで、最適なIS推定量および最適な変分近似への収束が高速化することを実証すること。

実験結果

リサーチクエスチョン

• RQ1 前向きKullback-Leibler発散の最小化は、事後分布よりも尾が重い提案分布を生成できるか。これにより重要度サンプリングの性能が向上するか？
• RQ2 変分推論における前向きKL最小化は、漸近的に整合性を持つ重要度サンプリング推定量をもたらすか？
• RQ3 本手法は、逆KLに基づく変分推論およびMCMCと比較して、収束速度と精度の点で優れているか？
• RQ4 前向きKLに基づく精錬は、実用的なベイズ推論タスクにおいて、従来の手法（例：変分ブースティング）を上回るか？
• RQ5 前向きKL最小化と重要度サンプリングの組み合わせは、実世界データにおけるより校正のとれた事後分布推定をもたらすか？

主な発見

• 前向きKullback-Leibler発散の最小化は、事後分布よりも尾が重い提案分布を生成し、逆KLに基づく手法の主な限界を是正する。
• 提案手法は、重要度サンプリング推定量の漸近的整合性を保証する。これは、逆KLに基づくアプローチでしばしば失われる性質である。
• 標準的なRKL最小化と比較して、最適な重要度サンプリング推定量および最適な変分近似への収束が高速化される。
• 実データにおける実験結果から、本手法は推定精度と校正性の点で、変分ブースティングおよびMCMCと同等の性能を示す。
• 前向きKLに基づく提案分布の構築は、特に分布の尾部において、より頑健で信頼性の高い事後分布推論を実現する。
• 本手法は、変分推論と重要度サンプリングの長所を組み合わせることで、近似的なベイズ推論のバイアスを効果的に低減する。