[論文レビュー] A LEVENBERG-MARQUARDT METHOD FOR NONSMOOTH REGULARIZED LEAST SQUARES

Aleksandr Y. Aravkin, Robert Baraldi+1 more|arXiv (Cornell University)|Jan 1, 2022

Sparse and Compressive Sensing Techniques被引用数 1

ひとこと要約

本稿では、滑らかでない正則化最小二乗問題に対するLevenberg-Marquardt法を提案する。滑らかでない非線形最小二乗項と一般の滑らかでない正則化項を組み合わせる。弱い条件下でもグローバル収束性とO(ϵ⁻²)の最悪ケース複雑度を確立し、3つのテスト問題において、近接勾配法や準ニュートン法と比較して外反復回数が優れていることを示す。

ABSTRACT

We develop a Levenberg-Marquardt method for minimizing the sum of a smooth nonlinear least-squar es term $f(x) = frac{1}{2} \|F(x)\|_2^2$ and a nonsmooth term $h$. Both $f$ and $h$ may be nonconvex. Steps are computed by minimizing the sum of a regularized linear least-squares model and a model of $h$ using a first-order method such as the proximal gradient method. We establish global convergence to a first-order stationary point of both a trust-region and a regularization variant of the Levenberg-Marquardt method under the assumptions that $F$ and its Jacobian are Lipschitz continuous and $h$ is proper and lower semi-continuous. In the worst case, both methods perform $O(ε^{-2})$ iterations to bring a measure of stationarity below $ε\in (0, 1)$. We report numerical results on three examples: a group-lasso basis-pursuit denoise example, a nonlinear support vector machine, and parameter estimation in neuron firing. For those examples to be implementable, we describe in detail how to evaluate proximal operators for separable $h$ and for the group lasso with trust-region constraint. In all cases, the Levenberg-Marquardt methods perform fewer outer iterations than a proximal-gradient method with adaptive step length and a quasi-Newton trust-region method, neither of which exploit the least-squares structure of the problem. Our results also highlight the need for more sophisticated subproblem solvers than simple first-order methods.

研究の動機と目的

• 滑らかでない、非凸な正則化項を有する非平滑な正則化最小二乗問題に特化したLevenberg-Marquardt法の開発。
• 正則化型と信頼領域型の両方の変種について、グローバル収束性と最悪ケース複雑度の上限を確立すること。
• グループlassoベースのプルーフ、非線形SVM、ニューロン発火パラメータ推定といった実世界問題における手法の有効性を実証すること。
• 最小二乗構造を活用することで、高価な近接作用素と外反復回数の減少のトレードオフを明らかにすること。
• 一次元手法を超えるより洗練された部分問題解法の必要性を動機づけること。

提案手法

• 正則化型（LM）と信頼領域型（LMTR）の2種類の変種を持つLevenberg-Marquardtフレームワークを用いる。
• ステップを、正則化付き線形最小二乗モデルと滑らかでない項hのモデルを最小化することで計算し、近接勾配法などの一次元手法を用いる。
• 部分問題を解くために近接勾配法や二次的正則化法を採用し、Fとそのヤコビアンのリプシッツ連続性のもとで収束を保証する。
• 一般化された信頼領域ノルムを適用し、部分問題の定式化に柔軟性をもたせつつ収束保証を維持する。
• 近接勾配ステップに関連する停留性測度に基づいて収束を導出する。
• ϵ ∈ (0,1) に対して、停留性がϵ未満になるまでの最悪ケース複雑度がO(ϵ⁻²)であることを確立する。これは滑らかな場合の境界と一致する。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない、非凸な正則化項を有する問題に、Levenberg-Marquardt法を効果的に拡張可能か。収束性と複雑度境界が保たれるか。
• RQ2 f(x) = ½∥F(x)∥²₂ の最小二乗構造を活用することで、標準的な近接勾配法や準ニュートン法と比較して、外反復回数にどのような影響を与えるか。
• RQ3 Levenberg-Marquardt法を用いる際、高価な近接作用素による部分問題の解法コストと外反復回数の削減のトレードオフは何か。
• RQ4 リプシッツ連続性や適切な下半連続性よりも弱い仮定のもとでも、グローバル収束性と複雑度境界を維持できるか。
• RQ5 部分問題ソルバの品質と不正確な評価が、全体の効率に果たす役割は何か。

主な発見

• LMおよびLMTR法は、3つのテスト問題すべてにおいて、適応的ラインサーチを用いた近接勾配法や準ニュートン信頼領域法よりも少ない外反復回数を達成した。
• グループlassoベースのプルーフ問題では、LMTRはたった24回の外反復で完了したが、R2は1359回、TRは267回を要した。
• 非線形SVMの例では、LMTRは最小の最終目的関数値（117.69）を達成し、わずか24回の外反復で完了した。
• FitzHugh-Nagumo逆問題では、LMTRは最小の目的関数評価回数（1420回）を記録し、正しいスパarsityを達成する良好なフィットを実現した。
• 内反復コストが高価であるにもかかわらず、LMおよびLMTR法は特に初期段階で、他の手法に比べて目的関数の低下が顕著に優れていた。
• 結果から、近接作用素の評価コストが主なボトルネックであることが強調され、より効率的な部分問題ソルバの必要性が浮き彫りになった。