[論文レビュー] Geodesic acceleration and the small-curvature approximation for nonlinear least squares

Mark K. Transtrum, James P. Sethna|arXiv (Cornell University)|Jul 20, 2012

Geophysics and Gravity Measurements参考文献 1被引用数 3

ひとこと要約

本稿では、非線形最小二乗法のLevenberg-Marquardtアルゴリズムに対する2次補正として、微分幾何学を用いずに、小残差近似を3次に拡張することで導出された測地線加速を紹介する。この手法は、大域的収束性を維持しつつ、狭くねじれたパrameter空間における収束を加速する。特にモデルの外在的曲率が小さい場合に顕著な高速化を達成し、計算コストの増加は最小限に抑えられる。

ABSTRACT

It has been shown numerically that the performance of the Levenberg-Marquardt algorithm can be improved by including a second order correction known as the geodesic acceleration. In this paper we give the method a more sound theoretical foundation by deriving the geodesic acceleration correction without using differential geometry and showing that the traditional convergence proofs can be adapted to incorporate geodesic acceleration. Unlike other methods which include second derivative information, the geodesic acceleration does not attempt to improve the Gauss-Newton approximate Hessian, but rather is an extension of the small-residual approximation to cubic order. In deriving geodesic acceleration, we note that the small-residual approximation is complemented by a small-curvature approximation. This latter approximation provides a much broader justification for the Gauss-Newton approximate Hessian and Levenberg-Marquardt algorithm. In particular, it is justifiable even if the best fit residuals are large, is dependent only on the model and not on the data being fit, and is applicable for the entire course of the algorithm and not just the region near the minimum.

研究の動機と目的

• 非線形最小二乗最適化における測地線加速の幾何的独立な導出を提供すること。
• 小曲率近似と結びつけることで、測地線加速に理論的根拠を示し、小残差近似よりも広く適用可能な枠組みを確立すること。
• Levenberg-Marquardtに測地線加速を組み込むことで、その大域的収束性が保たれることを示すこと。
• 高次元データフィッティング問題に一般的に見られる狭くねじれたパrameter空間において、測地線加速が収束速度を向上させることを示すこと。
• ヘシアンの改善を目的とする手法とは補完的であることを位置づけ、ヘシアン推定ではなく高次補正に焦点を当てる。

提案手法

• コスト関数を3次までテイラー展開することで測地線加速を導出し、微分幾何学を避けて残差とその導関数に直接作業する。
• ヘシアンにおける無視された2次項が、モデル多様体の外在的曲率に比例することを特定し、それらを小曲率近似と結びつける。
• 小曲率近似が、最小値の近傍に限らず、最適化経路全体でガウス・ニュートンのヘシアン推定を正当化することを示す。
• パrameter更新における3次項として測地線加速補正を定式化し、残差の2階微分とヤコビ行列から導出する。
• 更新ステップに曲率を考慮した補正項を追加することで、補正をLevenberg-Marquardtアルゴリズムに統合する。
• 測地線加速の組み込みがLevenberg-Marquardtの大域的収束性を損なわないことを証明し、修正された更新則に適合した標準的収束証明を適応する。

実験結果

リサーチクエスチョン

• RQ1 微分幾何学に依存せずに測地線加速を導出できるか。これにより最適化における利用のためのよりアクセス可能な基盤が得られるか。
• RQ2 最適化経路全体にわたって、小曲率近似と小残差近似の有効性と適用範囲を比較するとどうなるか。
• RQ3 測地線加速の組み込みが、Levenberg-Marquardtアルゴリズムの大域的収束性を保持するか。
• RQ4 どのようなパrameter空間の状態で、測地線加速が標準的なLevenberg-Marquardtよりも顕著な性能向上をもたらすか。
• RQ5 高次元で狭い峡谷のような最適化問題において、測地線加速を最小限の計算コストで実装でき、著しい高速化を達成できるか。

主な発見

• 測地線加速は、小残差近似の3次拡張として導出され、完全なヘシアン計算を必要とせず、より正確なヘシアン推定を可能にする。
• 小曲率近似は、小残差近似よりも広いパrameter範囲で有効であり、最小値から離れた領域でも成立する。
• モデルの外在的曲率が小さい限り、残差が大きくても補正が有効であるため、より広い問題クラスに適用可能である。
• 測地線加速補正は、計算コストを最小限に抑えつつLevenberg-Marquardtに組み込むことができ、大域的収束性を損なわない。
• 先行研究の数値的証拠から、高次元で峡谷状の最適化環境において、関数評価およびヤコビ行列評価の回数が著しく削減される。
• 標準的なLevenberg-Marquardtが苦戦する狭くねじれたパrameter空間では、コスト関数の曲率を追従できる能力により、測地線加速が特に効果的である。