[論文レビュー] A Stochastic Levenberg-Marquardt Method Using Random Models with Application to Data Assimilation

El Houcine Bergou, Youssef Diouane+2 more|arXiv (Cornell University)|Jul 5, 2018

Stochastic Gradient Optimization Techniques参考文献 30被引用数 8

ひとこと要約

本稿では、確率的精度要件と特定の正則化スケーリングを用いることで、ノイズのある目的関数値と確率的モデルを扱える確率的Levenberg-Marquardtアルゴリズムを提案する。確率1で1次停留点へのグローバル収束を確立し、反復回数の期待値を上限付け、アンサンブルベースの確率的モデルを用いたデータ同化への頑健な応用を可能にする。

ABSTRACT

Globally convergent variants of the Gauss-Newton algorithm are often the preferred methods to tackle nonlinear least squares problems. Among such frameworks, the Levenberg-Marquardt and the trust-region methods are two well-established paradigms, and their similarities have often enabled to derive similar analyses of these schemes. Both algorithms have indeed been successfully studied when the Gauss-Newton model is replaced by a random model, only accurate with a given probability. Meanwhile, problems where even the objective value is subject to noise have gained interest, driven by the need for efficient methods in fields such as data assimilation. In this paper, we describe a stochastic Levenberg-Marquardt algorithm that can handle noisy objective function values as well as random models, provided sufficient accuracy is achieved in probability. Our method relies on a specific scaling of the regularization parameter, which clarifies further the correspondences between the two classes of methods, and allows us to leverage existing theory for trust-region alorithms. Provided the probability of accurate function estimates and models is sufficiently large, we establish that the proposed algorithm converges globally to a first-order stationary point of the objective function with probability one. Furthermore, we derive a bound the expected number of iterations needed to reach an approximate stationary point. We finally describe an application of our method to variational data assimilation, where stochastic models are computed by the so-called ensemble methods.

研究の動機と目的

• ノイズのある目的関数値と確率的モデルに耐性を持つグローバル収束型Levenberg-Marquardt法の開発。
• 確率的設定下でのLevenberg-Marquardt法とTrust-region法の分析を統合すること。
• モデルと関数推定の両方について確率的精度仮定の下での収束保証を確立すること。
• 近似停留点に到達するまでの期待反復回数の上限を導出すること。
• アンサンブルベースの確率的モデルを用いた変分データ同化への応用。

提案手法

• アルゴリズムは、与えられた確率で精度が保証されるガウス=ニュートン型の確率的モデルを用いる。
• 確率的状況下でLevenberg-MarquardtフレームワークをTrust-region理論と整合させるために、正則化パラメータの新しいスケーリングを導入する。
• モデル精度と目的関数推定値の両方が高い確率で十分に正確であるという条件下で収束を分析する。
• 確率的Levenberg-Marquardtスキームを類似するTrust-region設定に写像することで、既存のTrust-region収束理論を活用する。
• データ同化の文脈でアンサンブル法を用いて確率的モデルを生成し、実装可能性を高める。
• アルゴリズムは、確率的モデルと関数推定の品質に応じて正則化パラメータを動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 目的関数とモデルの両方が確率的ノイズを受ける状況下でも、Levenberg-Marquardt法がグローバル収束可能か？
• RQ2 確率的モデル精度の下で収束を保証するには、確率的Levenberg-Marquardt法における正則化パラメータをどのようにスケーリングすべきか？
• RQ3 確率的条件下で、近似1次停留点に到達するまでの期待反復回数はどの程度か？
• RQ4 提案手法をアンサンブルベースの確率的モデルを用いた変分データ同化に効果的に応用する方法は何か？
• RQ5 モデルと関数値が不確実性を伴って推定される場合、収束に対してどのような確率的保証を確立できるか？

主な発見

• 確率的精度が十分に高い場合、提案された確率的Levenberg-Marquardtアルゴリズムは、確率1で目的関数の1次停留点にグローバル収束する。
• 特定の正則化パラメータのスケーリングにより、Trust-region収束理論を確率的Levenberg-Marquardtフレームワークに適用可能にする。
• 提示された確率的精度条件の下で、近似停留点に到達するまでの期待反復回数は上限付きである。
• 本手法は、アンサンブル法を用いて確率的モデルを構築する変分データ同化に適用可能であり、計算効率を向上させる。
• 理論的枠組みにより、確率的モデリング下でのLevenberg-Marquardt法とTrust-region法の関係が明確化される。
• 推定精度が確率的に十分に高い限り、目的関数とモデルの両方がノイズを含んでも、アルゴリズムは収束保証を維持する。