[论文解读] Localization in Ensemble Kalman inversion

Xin T. Tong, Matthias Morzfeld|arXiv (Cornell University)|Jan 26, 2022

Image and Signal Denoising Methods被引用 4

一句话总结

本文提出局部化集合卡尔曼反演（LEKI），通过引入局部化技术打破传统EKF方法的子空间特性，使集合能够脱离初始低维子空间。作者证明LEKI以次线性速率收敛至全局最小值，并在严格假设下确保数据拟合误差均匀衰减，从而实现无需计算导数的大规模反演问题高效求解。

ABSTRACT

Ensemble Kalman inversion (EKI) is a technique for the numerical solution of inverse problems. A great advantage of the EKI's ensemble approach is that derivatives are not required in its implementation. But theoretically speaking, EKI's ensemble size needs to surpass the dimension of the problem. This is because of EKI's "subspace property", i.e., that the EKI solution is a linear combination of the initial ensemble it starts off with. We show that the ensemble can break out of this initial subspace when "localization" is applied. In essence, localization enforces an assumed correlation structure onto the problem, and is heavily used in ensemble Kalman filtering and data assimilation. We describe and analyze how to apply localization to the EKI, and how localization helps the EKI ensemble break out of the initial subspace. Specifically, we show that the localized EKI (LEKI) ensemble will collapse to a single point (as intended) and that the LEKI ensemble mean will converge to the global optimum at a sublinear rate. Under strict assumptions on the localization procedure and observation process, we further show that the data misfit decays uniformly. We illustrate our ideas and theoretical developments with numerical examples with simplified toy problems, a Lorenz model, and an inversion of electromagnetic data, where some of our mathematical assumptions may only be approximately valid.

研究动机与目标

• 为解决集合卡尔曼反演（EKF）的根本局限性，即所有集合成员被限制在初始集合张成的子空间中。
• 建立将数据同化中常见的局部化技术应用于EKF的数学严谨框架，以克服该子空间约束。
• 证明局部化EKF（LEKI）集合会坍缩为单一点，并以次线性速率收敛至损失函数的全局最小值。
• 建立在何种条件下，LEKI框架中所有分量的数据拟合误差可实现均匀衰减。
• 通过在小规模问题、Lorenz模型和电磁数据反演上的数值实验验证理论结果。

提出的方法

• 引入一种局部化算子，通过强制相关性在空间上衰减来修改集合协方差矩阵，降低虚假相关性并提升有效秩。
• 通过引入局部化协方差矩阵，修改标准EKF更新规则，使集合能够探索初始子空间之外的方向。
• 定义一种局部化EKF（LEKI）算法，对样本协方差应用局部化函数，确保集合可脱离初始线性张成空间。
• 利用连续时间近似和李雅普诺夫型论证分析LEKI集合均值的收敛性，推导出次线性收敛速率。
• 在对局部化和观测模型施加严格假设的前提下，通过损失函数演化边界的分析，建立数据拟合误差在所有分量上均匀衰减的结论。
• 利用随机过程和马氏链论证分析局部化集合的行为，特别是其期望命中最小值的时间。

实验结果

研究问题

• RQ1 集合协方差中的局部化能否打破EKF的子空间特性，使集合能够脱离初始低维子空间？
• RQ2 LEKI集合均值向损失函数全局最小值收敛的速率可保证为多快？
• RQ3 在何种条件下，LEKI框架中所有分量的数据拟合误差可实现均匀衰减？
• RQ4 局部化协方差结构如何影响LEKI集合向单一点坍缩的过程？
• RQ5 能否为局部化在基于集合的反演方法中经验成功的现象提供数学依据？

主要发现

• LEKI集合以指定速率坍缩为单一点，确保收敛至唯一解。
• LEKI集合均值以次线性速率收敛至损失函数的全局最小值，具体为 O((t+1)^{-c})，其中 c>0。
• 在对局部化和观测过程施加严格假设的前提下，所有分量的数据拟合误差均匀衰减，衰减速率受 O((t+1)^{-2c}) 边界约束。
• 理论分析证实，局部化可提升集合协方差的有效秩，从而实现对初始子空间的逃逸。
• 在小规模问题、Lorenz系统和电磁数据反演上的数值实验表明，即使假设仅近似满足，LEKI仍具有实际可行性。
• 收敛与坍缩结果通过连续时间近似和Gronwall型不等式建立，为损失函数演化和集合离散度提供了严格界。