[論文レビュー] A Diffusion Process Perspective on Posterior Contraction Rates for Parameters

Wenlong Mou, Nhat Ho+3 more|arXiv (Cornell University)|Sep 3, 2019

Bayesian Methods and Mixture Models参考文献 38被引用数 4

ひとこと要約

本稿では、事後分布をランジュバン拡散としてモデル化することで、ベイジアンモデルにおける事後分布収縮率を分析するための拡散過程フレームワークを導入する。モーメントダイナミクスと確率的摂動を制御することにより、母集団構造とノイズの間の非線形関係を示す方程式を介して、非漸近的収縮率を導出する。これにより、ベルンシュタイン＝フォン・ミーゼスの保証が確立され、具体的なモデルおよびランジュバンサンプリングによる近似に対して結果の妥当性が検証される。

ABSTRACT

We analyze the posterior contraction rates of parameters in Bayesian models via the Langevin diffusion process, in particular by controlling moments of the stochastic process and taking limits. Analogous to the non-asymptotic analysis of statistical M-estimators and stochastic optimization algorithms, our contraction rates depend on the structure of the population log-likelihood function, and stochastic perturbation bounds between the population and sample log-likelihood functions. Convergence rates are determined by a non-linear equation that relates the population-level structure to stochastic perturbation terms, along with a term characterizing the diffusive behavior. Based on this technique, we also prove non-asymptotic versions of a Bernstein-von-Mises guarantee for the posterior. We illustrate this general theory by deriving posterior convergence rates for various concrete examples, as well as approximate posterior distributions computed using Langevin sampling procedures.

研究の動機と目的

• 確率的微分方程式を用いて、非漸近的枠組みで事後分布収縮率を分析するためのフレームワークを開発すること。
• 事後分布の時間的変化を拡散過程としてモデル化することで、頻度的M推定量解析手法をベイジアン事後分布集中に拡張すること。
• 収縮率が母集団の対数尤度構造と、標本と母集団の目的関数間の確率的摂動に依存することを導出すること。
• この拡散過程に基づく視点から、非漸近的ベルンシュタイン＝フォン・ミーゼス型の結果を証明すること。
• 理論を具体的なモデルおよびランジュバンサンプリング手順による近似事後分布に対して検証すること。

提案手法

• 事後分布の時間的変化を、対数尤度のスコア関数によって駆動される伊藤型過程としてモデル化するランジュバン拡散過程として定式化する。
• リャプノフ関数のアプローチを用いて、事後分布下でのパラメータのp次のモーメントを制御し、その有界性を保証する。
• 母集団レベルの凹性構造（ψを介して）と確率的摂動項（ζを介して）および拡散的挙動の間の重要な非線形方程式を導出する。
• グロンウォールの不等式を用いて期待モーメント成長をバインドし、事後分布の均一なモーメントバインディングを導出する。
• 切断とベルンシュタイン型不等式を適用して、経験的目的関数の差の尾部挙動を制御し、経験的対数尤度が母集団バージョンの周囲に一様に集中することを保証する。
• 極限定理と積分不等式を用いて、拡散過程の長期的挙動を分析し、事後分布のモードへの収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンモデルにおける事後分布収縮率は、確率的微分方程式の観点からどのように分析可能か？
• RQ2 母集団の対数尤度構造と、標本による摂動が事後分布集中に与える影響は何か？
• RQ3 拡散過程フレームワークを用いて、非漸近的ベルンシュタイン＝フォン・ミーゼス定理を確立できるか？
• RQ4 収縮率は、母集団目的関数の湾曲度と経験的目的関数のノイズの間の相互作用にどのように依存するか？
• RQ5 ランジュバンサンプリングによる近似事後分布は、真の事後分布と同等の収縮率をどの程度継承できるか？

主な発見

• 事後分布収縮率は、不等式 ψ(r) ≤ εₙζ(r) の最大解によって決定され、ψは母集団レベルの曲率を、ζは確率的摂動をそれぞれ捉える。
• 拡散過程の極限挙動とそのモーメントダイナミクスを分析することにより、非漸近的ベルンシュタイン＝フォン・ミーゼス保証が確立される。
• 事後分布のp次のモーメントは、パラメータ次元d、対数尤度曲率cₚ、ノイズレベルRδに依存する項によって一様に有界である。
• 事後分布下でのパラメータのL²ノルムの期待値に対するバインディングは、E[‖θ‖₂ᵖ | Xⁿ]¹ᐟᵖ ≤ (p+1)Rδ + √(6(p+d)/cₚ) と表され、次元依存の集中を示す。
• 理論は特定のモデルに対して収縮率をうまく特徴づけ、ランジュアンサンプリングによる近似が同様の非漸近的挙動を継承していることを検証した。
• 極限結果として、ややいなごろの正則性条件の下で、拡散過程の長期的挙動が真のパラメータの周囲に集中する分布に収束することを証明した。