[论文解读] Ensemble Kalman Inversion: mean-field limit and convergence analysis

Zhiyan Ding, Qin Li|arXiv (Cornell University)|Aug 15, 2019

Gaussian Processes and Bayesian Inference参考文献 30被引用 10

一句话总结

该论文建立了连续 Ensemble Kalman Inversion (EKI) 的平均场极限为耦合 SDE 系统，证明了在线性及弱非线性情况下，其在 Wasserstein-2 距离下以最优速率收敛至 Fokker-Planck 方程。此外，进一步表明在线性情况下，Fokker-Planck 解可在有限时间内重构后验分布，验证了 EKI 的有限时间收敛行为。

ABSTRACT

Ensemble Kalman Inversion (EKI) has been a very popular algorithm used in Bayesian inverse problems. It samples particles from a prior distribution, and introduces a motion to move the particles around in pseudo-time. As the pseudo-time goes to infinity, the method finds the minimizer of the objective function, and when the pseudo-time stops at $1$, the ensemble distribution of the particles resembles, in some sense, the posterior distribution in the linear setting. The ideas trace back further to Ensemble Kalman Filter and the associated analysis, but to today, when viewed as a sampling method, why EKI works, and in what sense with what rate the method converges is still largely unknown. In this paper, we analyze the continuous version of EKI, a coupled SDE system, and prove the mean field limit of this SDE system. In particular, we will show that 1. as the number of particles goes to infinity, the empirical measure of particles following SDE converges to the solution to a Fokker-Planck equation in Wasserstein 2-distance with an optimal rate, for both linear and weakly nonlinear case; 2. the solution to the Fokker-Planck equation reconstructs the target distribution in finite time in the linear case.

研究动机与目标

• 严格分析 Ensemble Kalman Inversion (EKI) 在连续时间下的极限行为，将其视为相互作用的 SDE 系统。
• 在粒子数 J → ∞ 的极限下，建立 EKI SDE 系统的平均场极限，证明其在 Wasserstein-2 距离下收敛至 Fokker-Planck 方程。
• 确定在何种条件下，Fokker-Planck 解可在有限时间内重构目标后验分布。
• 量化粒子经验测度向平均场解的收敛速率，并证明该速率的最优性。

提出的方法

• 使用 Dobrushin 的论证方法，通过构造一个中间 SDE 并比较粒子系统与平均场方程之间的距离，证明平均场极限。
• 应用 Grönwall 型不等式，通过漂移和扩散系数的有界性，控制粒子系统与中间 SDE 之间的差异。
• 利用矩估计与随机分析方法，控制粒子的二阶矩，从而支持收敛速率的分析。
• 推导粒子经验测度与 Fokker-Planck 方程解之间在 Wasserstein-2 距离上的上界。
• 递归应用关键引理（引理 8），在 Wasserstein 距离中逐步提升收敛速率。
• 分析线性和弱非线性设定，其中有限时间后验恢复结果仅适用于线性情况。

实验结果

研究问题

• RQ1 当粒子数趋于无穷时，EKI 粒子系统的经验测度是否收敛至确定性 PDE？收敛速率如何？
• RQ2 平均场 Fokker-Planck 方程的解是否可在有限时间内重构真实后验分布？在何种条件下成立？
• RQ3 EKI 粒子系统在 Wasserstein-2 度量下向平均场极限的最优收敛速率为何？
• RQ4 收敛速率如何依赖于粒子数 J 及问题的正则性（线性 vs. 弱非线性）？
• RQ5 为何 EKI 在非线性情况下无法在有限时间内恢复后验分布？其结构性障碍是什么？

主要发现

• EKI 粒子系统经验测度在 Wasserstein-2 距离下以速率 O(J^{-1/4 - α/4 + ε/2}) 收敛至 Fokker-Planck 方程解，且该速率最优。
• 在线性情况下，Fokker-Planck 方程可在有限时间 t = 1 内重构目标后验分布，证实了 EKI 的有限时间行为。
• 在非线性情况下，Fokker-Planck 解无法在有限时间内恢复后验分布，表明 EKI 在非线性反问题中存在根本性局限。
• 粒子系统向平均场极限的收敛速率最优，且依赖于正则性参数 α 和 ε 的选择。
• 粒子的二阶矩以 O(J^{-(1+α)/(2+ε)}) 的速率衰减，支持了 Wasserstein 距离中的收敛速率。
• 分析确认，在有限时间 t ∈ [0,1] 内，Grönwall 论证中的常数保持有界，从而支持有限时间收敛结果。