[論文レビュー] Strong Metric (Sub)regularity of KKT Mappings for Piecewise Linear-Quadratic Convex-Composite Optimization

James V. Burke, Abraham Engle|arXiv (Cornell University)|May 3, 2018

Sparse and Compressive Sensing Techniques参考文献 30被引用数 7

ひとこと要約

本稿は、分(piecewise)線形-二次（PLQ）凸合成最適化におけるKarush-Kuhn-Tucker（KKT）写像に関して、強いメトリック部分正則性および正則性条件を確立し、非線形プログラミングと類似した条件下でニュートン法および準ニュートン法の局所的2次収束を可能にする。解析は一般化方程式とアクティブ多様体同定を用い、有限値関数にとどまらない広範なPLQクラスへと2次収束理論を拡張する。

ABSTRACT

This work concerns the local convergence theory of Newton and quasi-Newton methods for convex-composite optimization: minimize f(x):=h(c(x)), where h is an infinite-valued proper convex function and c is C^2-smooth. We focus on the case where h is infinite-valued piecewise linear-quadratic and convex. Such problems include nonlinear programming, mini-max optimization, estimation of nonlinear dynamics with non-Gaussian noise as well as many modern approaches to large-scale data analysis and machine learning. Our approach embeds the optimality conditions for convex-composite optimization problems into a generalized equation. We establish conditions for strong metric subregularity and strong metric regularity of the corresponding set-valued mappings. This allows us to extend classical convergence of Newton and quasi-Newton methods to the broader class of non-finite valued piecewise linear-quadratic convex-composite optimization problems. In particular we establish local quadratic convergence of the Newton method under conditions that parallel those in nonlinear programming when h is non-finite valued piecewise linear.

研究の動機と目的

• 合成関数 h が無限値をとる分離的線形-二次（PLQ）的かつ凸であるような凸合成問題へ、ニュートン法および準ニュートン法の局所的収束理論を拡張すること。
• KKT写像が強くメトリック的に部分正則的かつ正則となる条件を確立し、高速な局所的収束を保証すること。
• 一般化方程式とアクティブ多様体構造を活用することで、古典的非線形プログラミングの収束結果と非有限値PLQ関数との間のギャップを埋めること。
• ロバスト回帰、非ガウス分布推定、機械学習などの現代の最適化問題における2次法の理論的基盤を提供すること。

提案手法

• 凸合成問題の最適性条件を、g が C¹-滑らかで G が多価写像である形の一般化方程式 g(x,y) + G(x,y) ∋ 0 に埋め込む。
• ラグランジュ構造から得られるKKT行列 ∇g(x,y) を用い、一般化方程式の線形化によりニュートン反復を定義する。
• 変分解析の道具、特に強力なメトリック部分正則性と正則性を用いて、局所的収束挙動を分析する。
• Rockafellarの部分的滑らか性およびアクティブ多様体理論を用い、dom(h) の幾何構造を特徴づけ、アクティブ集合構造を同定する。
• ラグランジュのヘッセ行列とアクティブ多様体の曲率に2次十分条件を課すことにより、局所的一意性と高速収束を保証する。
• KKT写像が解において強くメトリック的に部分正則であれば、ニュートン反復は2次収束することを確立する。

実験結果

リサーチクエスチョン

• RQ1 PLQ-凸合成問題に対して、KKT写像がいつ強くメトリック的に部分正則的となるか。
• RQ2 非有限値PLQ関数に対しても、古典的非線形プログラミングと同様に、ニュートン法の局所的2次収束を確立できるか。
• RQ3 PLQ関数 h のアクティブ多様体構造が、2次法の正則性および収束性にどのように影響を与えるか。
• RQ4 一般化方程式フレームワークは、異なるクラスの合成最適化問題にわたる収束解析を統一するために果たす役割は何か。

主な発見

• 2次十分条件が成り立ち、アクティブ多様体が部分的滑らかであれば、解においてKKT写像は強くメトリック的に部分正則である。
• KKT写像が強くメトリック的に部分正則であれば、ニュートン法の局所的2次収束が達成され、これは非線形プログラミングにおける条件と類似した条件下で成立する。
• ニュートン反復は、線形化された一般化方程式 g(x^k,y^k) + ∇g(x^k,y^k)(x^{k+1}-x^k, y^{k+1}-y^k) = 0 を解くことに相当し、高速な局所的収束を保証する。
• h が分離的線形関数（PLQの特別な場合）であるとき、結果はWomersley（1988）の既知の収束率を回復するが、非有限値設定へと拡張されている。
• 解析により、ラグランジュのヘッセ行列がアクティブ多様体の接空間上で正定値であれば、ニュートン法は解の近傍で2次収束することが示される。
• アクティブ多様体構造が局所的に保持される限り、h が無限値であっても、手法は適切に定義され、収束を示す。