[論文レビュー] Asymptotic Consistency of $α-$Rényi-Approximate Posteriors

Prateek Jaiswal, Vinayak Rao+1 more|arXiv (Cornell University)|Feb 5, 2019

advanced mathematical theories被引用数 5

ひとこと要約

この論文は、α > 1 の α-Rényi 散発を最小化する variational Bayesian 法である α-Rényi 近似事後分布の漸近的一貫性を確立する。従来の KL 散発に基づく variational inference よりも広がりがあり、より頑健な事後分布近似を実現する。主な貢献は、データ量が増加する際に真の事後分布を一貫して回復できる十分条件を同定することであり、その条件は『良い』近似分布の系列が適切な収束速度で存在することに集約される。

ABSTRACT

We study the asymptotic consistency properties of $α$-Rényi approximate posteriors, a class of variational Bayesian methods that approximate an intractable Bayesian posterior with a member of a tractable family of distributions, the member chosen to minimize the $α$-Rényi divergence from the true posterior. Unique to our work is that we consider settings with $α> 1$, resulting in approximations that upperbound the log-likelihood, and consequently have wider spread than traditional variational approaches that minimize the Kullback-Liebler (KL) divergence from the posterior. Our primary result identifies sufficient conditions under which consistency holds, centering around the existence of a 'good' sequence of distributions in the approximating family that possesses, among other properties, the right rate of convergence to a limit distribution. We further characterize the good sequence by demonstrating that a sequence of distributions that converges too quickly cannot be a good sequence. We also extend our analysis to the setting where $α$ equals one, corresponding to the minimizer of the reverse KL divergence, and to models with local latent variables. We also illustrate the existence of good sequence with a number of examples. Our results complement a growing body of work focused on the frequentist properties of variational Bayesian methods.

研究の動機と目的

• α > 1 の場合に α-Rényi 近似事後分布が漸近的に一貫する理論的条件を確立すること。
• 一貫性を保証する『良い』近似分布系列の性質を特徴づけ、収束が速すぎる系列と区別すること。
• 逆 KL 散発の場合（α = 1）および局所的 latent 変数をもつモデルへの分析の拡張。
• 特に事後分布の広がりが望ましい状況において、α-Rényi 散発を変分推論に用いる理論的根拠を提供すること。
• 従来の頻度主義的分析を補完し、一般の正則性条件下での一貫性を確立すること。

提案手法

• 真の事後分布と、取り扱いやすい分布族に属する分布との間の α-Rényi 散発を最小化する分布として α-Rényi 近似事後分布を提案する。
• α > 1 の α-Rényi 散発を用いることで、対数尤度を上界で抑え、KL 法よりも尾が重い近似を得る。
• 収束速度が適切な『良い』近似分布系列が真の事後分布に収束する場合に、一貫性を確立する。収束が速すぎる場合を避ける。
• 局所的漸近正規性（LAN）条件と Bickel と Kleijn（2012）の結果を用い、真のモデルと推定モデルにおける尤度比の漸近的同等性を導出する。
• 特に局所的 latent 変数をもつモデルにおいて、連合事後分布の構造と latent 変数の周辺化を用いて α-Rényi 散発のバウンドを導出する。
• Rényi 散発に適応した evidence lower bound（ELBO）フレームワークを用い、α-Rényi 散発の最小化が周辺尤度の下界を導くことを示す。

実験結果

リサーチクエスチョン

• RQ1 標本サイズが増加する際、α-Rényi 近似事後分布が真の事後分布に収束する条件は何か？
• RQ2 収束が速すぎる系列とは、何が異なるのか？ 一貫性を保証しない系列と区別するには？
• RQ3 α-Rényi 変分推論の漸近的挙動は、標準的な KL 法（α = 1）と比べてどう異なるか？
• RQ4 局所的 latent 変数をもつモデルにおいて、一貫性の結果を拡張できるか？ その場合、事後分布は高次元である。
• RQ5 LAN 条件は、真のモデルと近似モデルにおける尤度比の漸近的同等性を確立するために果たす役割は何か？

主な発見

• 本論文は、真の事後分布に適切な速度で収束する『良い』近似分布系列が存在する場合、α-Rényi 近似事後分布が漸近的に一貫することを確立する。
• 収束が速すぎる系列は、『良い』系列とは言えない。なぜなら、事後分布の広がりを十分に捉えられず、推定が一貫しなくなるからである。
• α > 1 の場合、KL 法よりも広がりのある事後分布近似が得られ、分散や高次モーメントの不確実性を捉えるのに有益である。
• 分析は逆 KL の場合（α = 1）にも拡張され、同一の十分条件の下で一貫性が示され、両散発の統一的取り扱いが可能になる。
• 共通の統計的モデルにおける『良い』系列の存在を示す例を通じて、結果の妥当性を検証した。特に局所的 latent 変数をもつモデルに対しても有効である。
• s-LAN 条件と適切な近似系列の収束が成立する場合、α-Rényi 散発は確率的に 0 に収束し、一貫性が保証されることを示した。