[論文レビュー] A stochastic Levenberg-Marquardt method using random models with complexity results and application to data assimilation

El Houcine Bergou, Youssef Diouane+2 more|arXiv (Cornell University)|Jul 5, 2018

Statistical and numerical algorithms被引用数 2

ひとこと要約

本稿では、ノイズが混入した目的関数値と確率的モデルを扱えるようにした確率的Levenberg-Marquardtアルゴリズムを提案する。確率的精度保証と特化した正則化スケーリングを用いる。十分な精度確率のもとで反復複雑性の上限を確立し、決定的結果を一般化するとともに、アンサンブル手法による変動的データ同調に接続する。

ABSTRACT

Globally convergent variants of the Gauss-Newton algorithm are often the methods of choice to tackle nonlinear least-squares problems. Among such frameworks, Levenberg-Marquardt and trust-region methods are two well-established, similar paradigms. Both schemes have been studied when the Gauss-Newton model is replaced by a random model that is only accurate with a given probability. Trust-region schemes have also been applied to problems where the objective value is subject to noise: this setting is of particular interest in fields such as data assimilation, where efficient methods that can adapt to noise are needed to account for the intrinsic uncertainty in the input data. In this paper, we describe a stochastic Levenberg-Marquardt algorithm that handles noisy objective function values and random models, provided sufficient accuracy is achieved in probability. Our method relies on a specific scaling of the regularization parameter, that allows us to leverage existing results for trust-region algorithms. Moreover, we exploit the structure of our objective through the use of a family of stationarity criteria tailored to least-squares problems. Provided the probability of accurate function estimates and models is sufficiently large, we bound the expected number of iterations needed to reach an approximate stationary point, which generalizes results based on using deterministic models or noiseless function values. We illustrate the links between our approach and variational data assimilation, where stochasticity arises from the so-called ensemble methods.

研究の動機と目的

• 非線形最小二乗問題において、ノイズが混入した目的関数値と確率的モデルを許容できる、グローバル収束性を有する確率的Levenberg-Marquardt法の開発。
• モデルと関数値の推定が所定の確率でしか正確でないような確率的設定において、信頼領域収束理論を拡張すること。
• モデルと関数評価の確率的精度仮定のもとで、近似停留点に到達するまでの反復複雑性の上限を提供すること。
• アンサンブルベースの近似から自然に生じる確率的性質と、提案手法を変動的データ同調に結びつけること。
• 最小二乗問題に特化した停留点基準を活用し、収束解析と効率性の両方を向上させること。

提案手法

• ガウス=ニュートンモデルが確率的モデルに置き換えられる確率的Levenberg-Marquardtフレームワークを用いる。このモデルは所定の確率で正確である。
• 既存の信頼領域収束結果に適合するように、正則化パラメータの特定のスケーリングを適用し、理論的保証の移行を可能にする。
• 非線形最小二乗問題の文脈で最適性をよりよく捉えるために、最小二乗問題に特化した停留点基準の族を採用する。
• 確率的仮定に依存する：モデルと関数値推定が十分に高い確率で正確でなければならない。これにより収束が保証される。
• 反復回数の期待値が近似停留点に到達するまでの上限を保証する複雑性解析を統合する。
• アンサンブルベースの近似が自然に必要な確率的モデルとノイズのある関数評価を生じることを示し、変動的データ同調への接続を図る。

実験結果

リサーチクエスチョン

• RQ1 モデルと目的関数値がともに確率的であり、所定の確率でしか正確でない場合に、確率的Levenberg-Marquardt法がグローバル収束を達成できるか？
• RQ2 正則化パラメータのどのスケーリングが収束を保証し、確率的設定下で既存の信頼領域複雑性結果を活用可能にするか？
• RQ3 最小二乗問題に特化した停留点条件をどのように活用することで、確率的性質のもとでの収束解析を強化できるか？
• RQ4 モデルと関数推定の確率的精度仮定のもとで、提案手法の期待反復複雑性は何か？
• RQ5 提案手法は実際のアンサンブルベースのデータ同調とどのように関係し、決定的Levenberg-Marquardtスキームをどのように一般化するか？

主な発見

• 提案された確率的Levenberg-Marquardt法は、モデルと関数推定の精度に関する確率的仮定のもとでグローバル収束を達成する。
• モデルと関数値の正確さの確率が閾値を超える限り、近似停留点に到達するまでの期待反復回数は上限で抑えられる。
• ノイズのある関数評価と確率的モデルを含む設定に一般化することで、決定的複雑性結果を拡張する。
• 特定の正則化パラメータスケーリングにより、確率的文脈において既存の信頼領域収束理論を活用できる。
• このフレームワークは、アンサンブル法が必要な確率的モデルとノイズのある観測を自然に生成する変動的データ同調と自然に整合する。
• 最小二乗問題に特化した停留点基準の活用により、非線形最小二乗問題の文脈における収束解析の精度が向上する。