[论文解读] A stochastic Levenberg-Marquardt method using random models with complexity results and application to data assimilation

El Houcine Bergou, Youssef Diouane+2 more|arXiv (Cornell University)|Jul 5, 2018

Statistical and numerical algorithms被引用 2

一句话总结

本文提出了一种随机Levenberg-Marquardt算法，通过基于概率的精度保证和专门的正则化缩放，处理具有噪声的目标函数值和随机模型的问题。在保证足够精度概率的前提下，建立了迭代复杂度界，推广了确定性结果，并通过集合方法与变分数据同化相联系。

ABSTRACT

Globally convergent variants of the Gauss-Newton algorithm are often the methods of choice to tackle nonlinear least-squares problems. Among such frameworks, Levenberg-Marquardt and trust-region methods are two well-established, similar paradigms. Both schemes have been studied when the Gauss-Newton model is replaced by a random model that is only accurate with a given probability. Trust-region schemes have also been applied to problems where the objective value is subject to noise: this setting is of particular interest in fields such as data assimilation, where efficient methods that can adapt to noise are needed to account for the intrinsic uncertainty in the input data. In this paper, we describe a stochastic Levenberg-Marquardt algorithm that handles noisy objective function values and random models, provided sufficient accuracy is achieved in probability. Our method relies on a specific scaling of the regularization parameter, that allows us to leverage existing results for trust-region algorithms. Moreover, we exploit the structure of our objective through the use of a family of stationarity criteria tailored to least-squares problems. Provided the probability of accurate function estimates and models is sufficiently large, we bound the expected number of iterations needed to reach an approximate stationary point, which generalizes results based on using deterministic models or noiseless function values. We illustrate the links between our approach and variational data assimilation, where stochasticity arises from the so-called ensemble methods.

研究动机与目标

• 开发一种全局收敛的随机Levenberg-Marquardt方法，以容忍非线性最小二乘问题中目标函数值和模型的噪声。
• 将信赖域收敛理论扩展至模型和函数估计仅以给定概率准确的随机设置。
• 在模型和函数评估的概率精度假设下，提供达到近似平稳性的迭代复杂度界。
• 将所提方法与变分数据同化相联系，其中随机性自然源于基于集合的近似。
• 利用针对最小二乘问题定制的特定问题平稳性准则，以改进随机性下的收敛性分析和效率。

提出的方法

• 采用随机Levenberg-Marquardt框架，其中高斯-牛顿模型由一个以指定概率准确的随机模型替代。
• 应用特定的正则化参数缩放，以与现有的信赖域收敛结果保持一致，从而实现理论保证的转移。
• 采用一组针对最小二乘问题定制的平稳性准则，以更好地捕捉非线性最小二乘情境下的最优性。
• 依赖于概率性假设：模型和函数值估计必须以足够高的概率准确，以确保收敛。
• 整合复杂度分析，以界定向近似平稳点收敛所需的期望迭代次数。
• 通过表明基于集合的近似自然产生所需的随机模型和噪声函数评估，建立与变分数据同化的联系。

实验结果

研究问题

• RQ1 当模型和目标函数值均为随机且仅以给定概率准确时，随机Levenberg-Marquardt方法能否实现全局收敛？
• RQ2 正则化参数的何种缩放可确保收敛，并使现有信赖域复杂度结果在随机设置下得以应用？
• RQ3 如何利用最小二乘问题的特定问题平稳性条件，在随机性下加强收敛性分析？
• RQ4 在模型和函数估计的概率精度假设下，所提方法的期望迭代复杂度是多少？
• RQ5 所提方法在实践中如何推广确定性Levenberg-Marquardt方案，并与基于集合的数据同化相关联？

主要发现

• 所提随机Levenberg-Marquardt方法在模型和函数估计精度的概率假设下实现了全局收敛。
• 当准确模型和函数值的概率超过某一阈值时，达到近似平稳点的期望迭代次数是受界的。
• 该方法通过将确定性复杂度结果推广至具有噪声函数评估和随机模型的设置，实现了对确定性结果的推广。
• 特定的正则化参数缩放使现有信赖域收敛理论可在随机背景下得以应用。
• 该框架自然契合变分数据同化，其中集合方法产生所需的随机模型和噪声观测。
• 使用针对最小二乘问题的平稳性准则增强了在非线性最小二乘问题背景下收敛性分析的精确性。