[论文解读] A Stochastic Levenberg-Marquardt Method Using Random Models with Application to Data Assimilation

El Houcine Bergou, Youssef Diouane+2 more|arXiv (Cornell University)|Jul 5, 2018

Stochastic Gradient Optimization Techniques参考文献 30被引用 8

一句话总结

本文提出了一种随机Levenberg-Marquardt算法，通过基于概率的精度要求和特定的正则化缩放，同时处理噪声目标函数值和随机模型。该算法以概率1全局收敛至一阶平稳点，并界定了期望迭代次数，从而在基于集合的随机模型进行数据同化时具备鲁棒性应用能力。

ABSTRACT

Globally convergent variants of the Gauss-Newton algorithm are often the preferred methods to tackle nonlinear least squares problems. Among such frameworks, the Levenberg-Marquardt and the trust-region methods are two well-established paradigms, and their similarities have often enabled to derive similar analyses of these schemes. Both algorithms have indeed been successfully studied when the Gauss-Newton model is replaced by a random model, only accurate with a given probability. Meanwhile, problems where even the objective value is subject to noise have gained interest, driven by the need for efficient methods in fields such as data assimilation. In this paper, we describe a stochastic Levenberg-Marquardt algorithm that can handle noisy objective function values as well as random models, provided sufficient accuracy is achieved in probability. Our method relies on a specific scaling of the regularization parameter, which clarifies further the correspondences between the two classes of methods, and allows us to leverage existing theory for trust-region alorithms. Provided the probability of accurate function estimates and models is sufficiently large, we establish that the proposed algorithm converges globally to a first-order stationary point of the objective function with probability one. Furthermore, we derive a bound the expected number of iterations needed to reach an approximate stationary point. We finally describe an application of our method to variational data assimilation, where stochastic models are computed by the so-called ensemble methods.

研究动机与目标

• 开发一种全局收敛的Levenberg-Marquardt方法，能够容忍噪声目标函数值和随机模型。
• 在随机设定下统一分析Levenberg-Marquardt方法与信赖域方法。
• 在模型和函数估计的 probabilistic 精度假设下建立收敛保证。
• 推导出达到近似平稳点所需期望迭代次数的界。
• 将该方法应用于基于集合的随机模型的变分数据同化。

提出的方法

• 该算法使用一种基于高斯-牛顿类型的随机模型，其模型精度以给定概率得到保证。
• 提出一种正则化参数的新缩放方式，使Levenberg-Marquardt框架在随机性下与信赖域理论相一致。
• 在模型精度和目标函数值估计均以高概率足够准确的条件下分析收敛性。
• 通过将随机Levenberg-Marquardt方案映射到可比的信赖域设定，利用现有的信赖域收敛理论。
• 在数据同化背景下，使用集合方法生成随机模型，从而实现实际应用。
• 该算法根据随机模型和函数估计的质量动态调整正则化参数。

实验结果

研究问题

• RQ1 当目标函数和模型均受随机噪声影响时，Levenberg-Marquardt方法能否实现全局收敛？
• RQ2 在随机Levenberg-Marquardt方法中，如何对正则化参数进行缩放，以在模型精度具有概率性保证时确保收敛？
• RQ3 在随机条件下，达到近似一阶平稳点所需的期望迭代次数是多少？
• RQ4 如何将所提方法有效应用于基于集合的随机模型的变分数据同化？
• RQ5 当模型和函数值以不确定性进行估计时，可以建立哪些关于收敛性的概率保证？

主要发现

• 在模型和函数估计的准确概率足够高的前提下，所提出的随机Levenberg-Marquardt算法以概率1全局收敛至目标函数的一阶平稳点。
• 特定的正则化参数缩放方式使得信赖域收敛理论能够成功迁移至随机Levenberg-Marquardt框架。
• 在所述概率精度条件下，达到近似平稳点的期望迭代次数是有限的。
• 该方法适用于变分数据同化，其中通过集合方法构建随机模型，从而提升计算效率。
• 理论框架阐明了在随机建模下Levenberg-Marquardt方法与信赖域方法之间的联系。
• 只要估计精度在概率上足够高，即使目标函数和模型均以噪声方式估计，该算法仍能保持收敛保证。