[论文解读] Improve Unscented Kalman Inversion With Low-Rank Approximation and Reduced-Order Model

Daniel Zhengyu Huang, Jiaoyang Huang|arXiv (Cornell University)|Feb 21, 2021

Seismic Imaging and Inversion Techniques参考文献 69被引用 4

一句话总结

该论文通过结合低秩协方差近似与降阶模型（ROMs），提升了大规模反问题中无迹卡尔曼逆向（UKI）方法的性能，降低了计算与内存开销，同时保持了精度。该方法在高达 O(10^5) 个参数的高维问题中，实现了与基于梯度的方法相当的效率，已在涡旋模型和三维全球气候模型（GCM）上得到验证。

ABSTRACT

The unscented Kalman inversion (UKI) presented in [1] is a general derivative-free approach to solving the inverse problem. UKI is particularly suitable for inverse problems where the forward model is given as a black box and may not be differentiable. The regularization strategy and convergence property of the UKI are thoroughly studied, and the method is demonstrated effectively handling noisy observation data and solving chaotic inverse problems. In this paper, we aim to make the UKI more efficient in terms of computational and memory costs for large scale inverse problems. We take advantages of the low-rank covariance structure to reduce the number of forward problem evaluations and the memory cost, related to the need to propagate large covariance matrices. And we leverage reduced-order model techniques to further speed up these forward evaluations. The effectiveness of the enhanced UKI is demonstrated on a barotropic model inverse problem with O($10^5$) unknown parameters and a 3D generalized circulation model (GCM) inverse problem, where each iteration is as efficient as that of gradient-based optimization methods.

研究动机与目标

• 解决大规模反问题中UKI因未知参数众多而导致的高计算与内存开销问题。
• 通过利用参数空间中协方差结构的低秩特性，对UKI的协方差矩阵进行低秩近似，减少所需前向模型评估次数与大协方差矩阵的存储需求。
• 采用降阶模型（ROM）技术加速前向模型评估，从而提升整体效率。
• 证明增强后的UKI在高维设置下可实现与基于梯度的优化方法相当的计算效率。
• 实现对大规模、噪声大且具有混沌特性的反问题的有效求解，尤其适用于前向模型昂贵或为黑箱的情况。

提出的方法

• 对UKI的协方差矩阵应用低秩近似，通过利用参数空间中的低秩结构，将所需前向评估次数从 2Nθ+1 显著减少至更小数量。
• 使用 proper orthogonal decomposition（POD）或类似ROM技术，构建一个能以高精度近似全阶模型的降阶前向模型。
• 将ROM集成到UKI框架中，以替代每次迭代中的昂贵全阶前向评估，从而显著降低计算成本。
• 在保持UKI无导数特性的前提下，通过无迹变换与随机动力学确保收敛性与正则化特性。
• 利用确定性集合卡尔曼逆向变体（如集合调整或变换卡尔曼逆向）避免显式存储协方差矩阵，提升数值稳定性。
• 采用矩阵平方根分解与基于SVD的变换，高效计算卡尔曼更新，而无需存储完整的 Nθ×Nθ 协方差矩阵。

实验结果

研究问题

• RQ1 低秩近似是否能显著减少UKI中所需的前向模型评估次数，同时不降低解的精度？
• RQ2 在大规模反问题中，降阶模型（ROMs）在多大程度上可加速前向评估，同时保持模型保真度？
• RQ3 低秩近似与ROM的结合是否能使UKI在高维设置下实现与基于梯度方法相当的计算效率？
• RQ4 在具有 O(10^5) 个未知参数的混沌或噪声反问题中，增强后的UKI表现如何？
• RQ5 该方法是否能在大幅降低内存与计算成本的同时，保持UKI的收敛性与正则化特性？

主要发现

• 通过利用UKI协方差矩阵中的低秩结构，增强后的UKI显著降低了计算成本与内存使用，大幅减少了所需前向评估次数。
• ROM的集成使得每次UKI迭代的效率可与基于梯度的优化方法相媲美，即使在 O(10^5) 个未知参数的问题中亦然。
• 该方法成功求解了具有 O(10^5) 参数的涡旋模型反问题，展示了其可扩展性以及对噪声与混沌的鲁棒性。
• 三维广义环流模型（GCM）的反问题被高效求解，证实增强后的UKI在高维条件下仍能保持精度与收敛性。
• 该方法保留了UKI的无导数性、正则化与平滑特性，能够有效处理噪声大或混沌的前向模型。
• 该方法在实践中实现了线性（或超线性）收敛，与UKI的理论性质一致，即使在大规模设置下亦成立。