[論文レビュー] Improvements to the Levenberg-Marquardt algorithm for nonlinear least-squares minimization

Mark K. Transtrum, James P. Sethna|arXiv (Cornell University)|Jan 27, 2012

Statistical and numerical algorithms被引用数 159

ひとこと要約

本稿では、非線形最小二乗最小化のためのLevenberg-Marquardtアルゴリズムに、3つの主要な改善を提案する：収束速度の向上のための地殻的加速、平坦な領域からの脱出のための上り坂ステップの大胆な受容、およびヤコビ行列再評価の削減のためのBroydenベースのランク1更新。これらの改良により、収束速度とロバスト性が顕著に向上し、ヤコビ行列評価回数が最大70倍まで削減され、細長い谷や平坦領域を有する困難な高次元問題においても成功確率が向上する。

ABSTRACT

When minimizing a nonlinear least-squares function, the Levenberg-Marquardt algorithm can suffer from a slow convergence, particularly when it must navigate a narrow canyon en route to a best fit. On the other hand, when the least-squares function is very flat, the algorithm may easily become lost in parameter space. We introduce several improvements to the Levenberg-Marquardt algorithm in order to improve both its convergence speed and robustness to initial parameter guesses. We update the usual step to include a geodesic acceleration correction term, explore a systematic way of accepting uphill steps that may increase the residual sum of squares due to Umrigar and Nightingale, and employ the Broyden method to update the Jacobian matrix. We test these changes by comparing their performance on a number of test problems with standard implementations of the algorithm. We suggest that these two particular challenges, slow convergence and robustness to initial guesses, are complimentary problems. Schemes that improve convergence speed often make the algorithm less robust to the initial guess, and vice versa. We provide an open source implementation of our improvements that allow the user to adjust the algorithm parameters to suit particular needs.

研究の動機と目的

• 非線形最小二乗最小化における細長いパラメータ空間の谷での収束遅延と、悪い初期パラメータ推定値に対するロバスト性という二重の課題に取り組む。
• 標準的なLevenberg-Marquardtの限界、たとえばパラメータの蒸発や、コスト関数がパラメータの変化に対して感度が低い平坦領域での収束遅延を克服する。
• 高価なヤコビ行列評価回数を削減することでアルゴリズムの効率を向上させつつ、困難な高次元問題における成功確率を維持または向上させる。
• 収束速度とロバスト性のバランスをとれる体系的かつ調整可能なフレームワークを提供し、とくに多くのパラメータを有するスロッピーなモデルに適する。
• 多様なデータフィッティング問題への実用的応用とチューニングを可能にするオープンソース実装を開発する。

提案手法

• 標準的なLevenberg-Marquardtステップに、パラメータ空間の曲率を考慮する地殻的加速補正項を導入し、収束を改善する。
• UmrigarとNightingaleの大胆な受容基準を採用し、制御された上り坂ステップを許容することで、局所的 plateau やサドル領域からの脱出確率を高める。
• 各受容ステップ後にヤコビ行列にBroydenのランク1更新を適用し、完全な再評価を回避することで計算コストを削減する。
• 加速、大胆な受容、Broyden更新の3つの改良を統合し、包括的な性能向上を実現する1つの強化アルゴリズムを構築する。
• 最適化の過程で勾配降下とガウス＝ニュートン行動の両方を動的にバランスさせるため、体系的なデーミングパラメータ更新戦略を採用する。
• 多様なベンチマーク問題に対してアルゴリズムを実装・テストし、収束ごとの成功確率、フィッティング品質、ヤコビ行列評価回数を測定する。

実験結果

リサーチクエスチョン

• RQ1 地殻的加速は、非線形最小二乗問題の収束に必要なヤコビ行列評価回数を顕著に削減できるか？
• RQ2 UmrigarとNightingaleの基準による大胆な（上り坂の）ステップの許容は、平坦領域やパラメータの蒸発を回避する能力を向上させるか？
• RQ3 ヤコビ行列に対するBroydenベースのランク1更新は、収束の信頼性を著しく損なわず、計算効率をどの程度向上させるか？
• RQ4 3つの改良を組み合わせた場合、それらはどのように相互作用し、相乗的に速度とロバスト性を向上させるか？
• RQ5 すべての改良を組み合わせた強化アルゴリズムは、高次元性とスロッピーさを特徴とする多様なテスト問題において、標準的なLevenberg-Marquardt実装を上回る性能を示せるか？

主な発見

• 地殻的加速により、特定のテスト問題ではヤコビ行列評価回数が最大70倍まで削減され、大多数の問題で2倍から10倍の改善が得られた。
• 上り坂ステップの大胆な受容により、特に平坦または plateau のような領域にある困難な問題における成功確率が向上したが、解の品質は著しく低下しなかった。
• Broydenベースのランク1更新により、完全なヤコビ行列再評価の必要性が低減され、計算効率が向上したが、初期パラメータが悪い場合のロバスト性はわずかに低下した。
• 地殻的加速と大胆な受容を組み合わせることで、上り坂移動中にアルゴリズムが迷子になるのを防ぎ、収束を加速しながらも高い成功確率を維持した。
• 3つの改良をすべて組み合わせた完全なアルゴリズムは、収束ごとのヤコビ行列評価回数の平均逆数（NJEV）が最も高く、多様な問題クラスにおいて標準実装を上回った。
• 単一のアルゴリズムがすべての問題を支配するわけではなかったが、特に高次元およびスロッピーなモデルにおいて、複数の指標で一貫した改善が見られた。