[论文解读] Dropout Ensemble Kalman inversion for high dimensional inverse problems

Shiyang Liu, Sebastian Reich+1 more|arXiv (Cornell University)|Aug 31, 2023

Statistical and numerical algorithmsMathematics被引用 3

一句话总结

该论文提出了一种新型方法——Dropout-Ensemble Kalman Inversion (DEKI)，通过在集合偏差分量中应用dropout正则化，克服了标准Ensemble Kalman Inversion (EKI)在高维反问题中因子空间限制而导致的局限性。DEKI在小集合规模下实现收敛，计算复杂度与维度呈线性关系，并达到最优查询复杂度，其理论分析与高维PDE约束反问题的数值实验均验证了该方法的有效性。

ABSTRACT

Ensemble Kalman inversion (EKI) is an ensemble-based method to solve inverse problems. Its gradient-free formulation makes it an attractive tool for problems with involved formulation. However, EKI suffers from the ''subspace property'', i.e., the EKI solutions are confined in the subspace spanned by the initial ensemble. It implies that the ensemble size should be larger than the problem dimension to ensure EKI's convergence to the correct solution. Such scaling of ensemble size is impractical and prevents the use of EKI in high dimensional problems. To address this issue, we propose a novel approach using dropout regularization to mitigate the subspace problem. We prove that dropout-EKI converges in the small ensemble settings, and the computational cost of the algorithm scales linearly with dimension. We also show that dropout-EKI reaches the optimal query complexity, up to a constant factor. Numerical examples demonstrate the effectiveness of our approach.

研究动机与目标

• 解决Ensemble Kalman Inversion (EKI)中的子空间性质问题，该问题导致解被限制在初始集合的张成空间内，且要求集合规模超过问题维度。
• 通过引入一种正则化机制，增强对初始子空间之外的探索能力，从而克服高维反问题中大集合规模的不切实际性。
• 开发一种理论基础扎实、计算高效的算法，在固定且较小的集合规模下，保持在高维设置中的收敛性与最优性。
• 为所提方法建立理论收敛保证与查询复杂度边界，证明其在零阶优化框架下反问题中的最优性。

提出的方法

• 在EKI迭代中对集合偏差分量引入dropout正则化，通过在更新过程中随机抑制分量，促进对初始子空间之外的探索。
• 通过在集合偏差与随机dropout掩码之间应用Hadamard积，修改标准EKI更新规则，从而在集合协方差更新中有效引入随机扰动。
• 在适当步长调节下，证明线性问题与强凸非线性问题均具有指数收敛性，确保在高维设置下的稳定性和准确性。
• 分析算法的查询复杂度，表明其在所考虑的问题类中达到最优性能（至多一个常数因子），适用于高维反问题。
• 采用固定集合规模实现方法实施，无论问题维度如何，均能实现对高维PDE约束反问题的可扩展性。
• 使用带有先验协方差矩阵的Tikhonov正则化损失函数，以平衡数据拟合与先验信息，与贝叶斯推断框架一致。

Figure 4: Comparison of the inversion solutions of EKI and DEKI in Darcy’s law model in different setups with ensemble size $J=15$ . Row 1: setup 1 $(l_{x}=0.1,l_{y}=0.1,d_{u}=136)$ ; Row 2: setup 2 $(l_{x}=0.2,l_{y}=0.05,d_{u}=142)$ ; Row 3: setup 3 $(l_{x}=0.15,l_{y}=0.05,d_{u}=179)$ ; Row 4: setu

实验结果

研究问题

• RQ1 能否有效将dropout正则化适配到Ensemble Kalman Inversion中，以缓解子空间性质问题，并在小集合规模下实现高维反问题的收敛？
• RQ2 所提出的DEKI方法是否在问题维度上实现线性计算复杂度，从而使其适用于大规模应用？
• RQ3 在适当步长选择下，DEKI对线性问题与强凸非线性问题的理论收敛速率如何？
• RQ4 DEKI在反问题的零阶优化中是否达到最优查询复杂度（至多一个常数因子）？
• RQ5 在高维、PDE约束的反问题中，DEKI与标准EKI在解的精度与鲁棒性方面相比如何？

主要发现

• DEKI成功缓解了EKI的子空间性质，即使集合规模小于问题维度，也能收敛至真实解。
• 理论分析表明，当步长适配得当时，DEKI在线性问题中以及强凸非线性问题的最终阶段均实现指数级快速收敛。
• DEKI的计算成本与问题维度 $d_u$ 呈线性关系，这对高维反问题而言是最优的。
• 通过零阶优化复杂度分析的适配，证明了在所考虑的问题类中，DEKI的查询复杂度达到最优（至多一个常数因子）。
• 在参数数量高达 $d_u = 254$ 的Darcy渗流模型上的数值实验表明，DEKI在仅使用 $J = 15$ 个集合成员时仍能保持精确反演，而标准EKI则无法收敛。
• 在所有测试设置中，DEKI始终随时间减少数据拟合误差与解误差，而EKI由于子空间限制导致停滞，即使在多次随机初始化与dropout实现下亦然。