[論文レビュー] Asymptotic Consistency of $\alpha$-{R}\'enyi-Approximate Posteriors

Prateek Jaiswal, Vinayak Rao+1 more|arXiv (Cornell University)|Feb 5, 2019

Gaussian Processes and Bayesian Inference参考文献 27被引用数 5

ひとこと要約

この論文は、α > 1 における α-Rényi 散発の最小化によって、従来の KL に基づく変分ベイズ推論よりも広がりがあり、より頑健な事後分布近似を実現する、α-Rényi 近似事後分布の漸近的一貫性を確立する。主な貢献は、データが増加するにつれて真の事後分布を一貫して標的にするための十分条件を同定することであり、その条件は『良い』近似分布の系列の存在と、適切な収束速度に依存している。

ABSTRACT

We study the asymptotic consistency properties of $\\alpha$-R\\'enyi approximate posteriors, a class of variational Bayesian methods that approximate an intractable Bayesian posterior with a member of a tractable family of distributions, the member chosen to minimize the $\\alpha$-R\\'enyi divergence from the true posterior. Unique to our work is that we consider settings with $\\alpha > 1$, resulting in approximations that upperbound the log-likelihood, and consequently have wider spread than traditional variational approaches that minimize the Kullback-Liebler (KL) divergence from the posterior. Our primary result identifies sufficient conditions under which consistency holds, centering around the existence of a 'good' sequence of distributions in the approximating family that possesses, among other properties, the right rate of convergence to a limit distribution. We further characterize the good sequence by demonstrating that a sequence of distributions that converges too quickly cannot be a good sequence. We also extend our analysis to the setting where $\\alpha$ equals one, corresponding to the minimizer of the reverse KL divergence, and to models with local latent variables. We also illustrate the existence of good sequence with a number of examples. Our results complement a growing body of work focused on the frequentist properties of variational Bayesian methods.

研究の動機と目的

• α > 1 の場合に α-Rényi 近似事後分布が漸近的に一貫する理論的条件を確立すること。
• 従来の変分ベイズ推論が事後分散を過小評価するという限界を補うために、より広がりがあり、より慎重な近似を促進する散発尺度を用いること。
• 一貫性を保証するために必要な『良い』近似分布系列の性質（収束速度を含む）を特定すること。
• 局所的潜在変数を有するモデルに対し、逆 KL 型のケース（α = 1）への分析を拡張すること。
• α-Rényi 変分ベイズ推論の頻度的性質に対する理論的根拠を提供し、分野における既存の研究を補完すること。

提案手法

• 論文は、α > 1 に対して Dα(π(θ|Xn) || q(θ)) を最小化する近似事後分布を選び、α-Rényi 散発の最小化を変分ベイズ推論の手法として分析する。
• モデルの正則性条件と整合的な収束速度を持つ『良い』近似分布系列 {q̄n(θ)} の概念を導入する。
• 理論的分析は、局所的漸近正規性（LAN）条件と、近似族の収束を制御するヘルンガー型距離の使用に依存する。
• 収束が速すぎる系列は、良い系列ではありえないことを証明し、一貫性のための収束速度の下限が必要であることを示す。
• 潜在変数を真の値に固定して分析することで、局所的潜在変数を有するモデルへのフレームワークの拡張がなされる。
• 証明技法は、α-Rényi 散発が対数尤度を上界で抑え、KL 最小化よりも裾の重い近似を生じることに着目している。

実験結果

リサーチクエスチョン

• RQ1 α > 1 の α-Rényi 変分ベイズ推論が、どのような条件下で漸近的に一貫する事後分布近似を生成するか？
• RQ2 α-Rényi 散発最小化の文脈において、『良い』近似分布系列が満たすべき性質は何か？
• RQ3 局所的潜在変数を有するモデルに対しても、α-Rényi 近似の理論的一貫性を拡張できるか？
• RQ4 近似系列の収束速度が α-Rényi 事後分布の一貫性にどのように影響するか？
• RQ5 α-Rényi 散発と逆 KL 散発（α = 1）との間には、漸近的挙動においてどのような関係があるか？

主な発見

• 『良い』近似分布系列が真の事後分布へ適切な速度で収束するならば、α-Rényi 近似事後分布の漸近的一貫性が成立することを確立した。
• 収束が速すぎる系列は、良い系列にはなり得ないため、一貫性のためには収束速度に下限が必要である。
• α > 1 の場合、α-Rényi 散発は KL 最小化よりも広がりのある事後分布近似をもたらす。これは、対数尤度を上界で抑え、不足カバレッジをペナルティ化するためである。
• 分析は逆 KL 型のケース（α = 1）へ拡張され、類似した条件下で一貫性が示されたため、両散発の取り扱いが統一された。
• 標準的なモデルにおける良い系列の存在を示す例を通じて、理論的枠組みの有効性が検証された。
• LAN 条件およびヘルンガー収束を含む正則性条件の下で、n → ∞ のとき α-Rényi 近似が真の事後分布に分布収束することを確認した。