[論文レビュー] Ensemble Kalman Inversion: mean-field limit and convergence analysis

Zhiyan Ding, Qin Li|arXiv (Cornell University)|Aug 15, 2019

Gaussian Processes and Bayesian Inference参考文献 30被引用数 10

ひとこと要約

本稿は、連続的アンサンブルカルマンインバージョン（EKI）の平均場極限を、結合されたSDE系として確立し、線形および弱非線形ケースにおいて、Wasserstein-2距離で最適なレートでFokker-Planck方程式への収束を証明する。さらに、線形ケースでは、Fokker-Planck解が有限時間内で事後分布を再構築することを示し、EKIの有限時間収束行動を裏付ける。

ABSTRACT

Ensemble Kalman Inversion (EKI) has been a very popular algorithm used in Bayesian inverse problems. It samples particles from a prior distribution, and introduces a motion to move the particles around in pseudo-time. As the pseudo-time goes to infinity, the method finds the minimizer of the objective function, and when the pseudo-time stops at $1$, the ensemble distribution of the particles resembles, in some sense, the posterior distribution in the linear setting. The ideas trace back further to Ensemble Kalman Filter and the associated analysis, but to today, when viewed as a sampling method, why EKI works, and in what sense with what rate the method converges is still largely unknown. In this paper, we analyze the continuous version of EKI, a coupled SDE system, and prove the mean field limit of this SDE system. In particular, we will show that 1. as the number of particles goes to infinity, the empirical measure of particles following SDE converges to the solution to a Fokker-Planck equation in Wasserstein 2-distance with an optimal rate, for both linear and weakly nonlinear case; 2. the solution to the Fokker-Planck equation reconstructs the target distribution in finite time in the linear case.

研究の動機と目的

• アンサンブルカルマンインバージョン（EKI）の連続時間極限を、相互作用するSDE系として厳密に分析すること。
• 粒子数 J → ∞ の極限において、EKIのSDE系の平均場極限を確立し、Wasserstein-2距離におけるFokker-Planck方程式への収束を示すこと。
• Fokker-Planck解が有限時間内で真の事後分布を回復する条件を同定すること。
• 粒子の経験測度が平均場解へ収束するレートを定量し、最適性を確立すること。

提案手法

• Dobrushinの議論を用いて、ブリッジSDEを構築し、粒子系と平均場方程式との距離を比較することで、平均場極限を証明する。
• Grönwall型の不等式を適用し、ドリフトおよび拡散係数のバインドを活用して、粒子系とブリッジSDEとの差をバインドする。
• モーメント推定と確率的微積分を用いて、粒子の2階モーメントを制御し、収束レート解析を可能にする。
• 粒子の経験測度とFokker-Planck方程式の解との間のWasserstein-2距離のバインドを導出する。
• キーレムマ（補題8）を再帰的に適用し、Wasserstein距離における収束レートを段階的に改善する。
• 線形および弱非線形設定を分析し、有限時間での事後分布回復結果は線形ケースに限定される。

実験結果

リサーチクエスチョン

• RQ1 EKI粒子系の経験測度は、無限に多くの粒子の極限で、決定的PDEへ収束するか？その収束レートは？
• RQ2 平均場Fokker-Planck方程式の解は、有限時間内で真の事後分布を再構築できるか？どのような条件下で？
• RQ3 EKI粒子系が平均場極限へ収束する最適なWasserstein-2距離におけるレートは何か？
• RQ4 収束レートは、粒子数 J と問題の正則性（線形対弱非線形）にどのように依存するか？
• RQ5 なぜEKIは非線形ケースでは有限時間内に事後分布を回復できないのか？その構造的障害は何か？

主な発見

• EKI粒子系の経験測度は、Wasserstein-2距離において、任意の ε > 0 に対してレート O(J^{-1/4 - α/4 + ε/2}) でFokker-Planck方程式の解へ収束し、最適性が確立されている。
• 線形ケースでは、Fokker-Planck方程式が有限時間 t = 1 で目標事後分布を再構築する。これは、EKIの有限時間挙動を確認するものである。
• 非線形ケースでは、Fokker-Planck解は有限時間内に事後分布を回復しない。これは、非線形逆問題におけるEKIの根本的限界を示唆する。
• 粒子系が平均場極限へ収束するレートは最適であり、正則性パラメータ α と ε の選択に依存する。
• 粒子の2階モーメントは O(J^{-(1+α)/(2+ε)}) の速度で減少し、これはWasserstein距離における収束レートを支持する。
• 解析により、Grönwallの議論における定数が有限時間 t ∈ [0,1] において有界のまま保たれることを確認した。これにより、有限時間収束結果が得られる。