[論文レビュー] Semi-Smooth Second-order Type Methods for Composite Convex Programs

Xiantao Xiao, Yongfeng Li+2 more|arXiv (Cornell University)|Mar 25, 2016

Advanced Optimization Algorithms Research参考文献 50被引用数 4

ひとこと要約

本稿では、FBS や DRS などのオペレータ分割スキームから導出される半スムーズ固定点写像を活用して、合成凸計画問題に対する適応的半スムーズニュートン法およびレーベンバーグ・マーカート法を提案する。初期値が最適解の近傍に設定された場合、二次的または超線形的収束率を達成するグローバル収束性を確立し、一次および二次の方法の間のギャップを埋める。

ABSTRACT

The goal of this paper is to study approaches to bridge the gap between first-order and second-order type methods for composite convex programs. Our key observations are: i) Many well-known operator splitting methods, such as forward-backward splitting (FBS) and Douglas-Rachford splitting (DRS), actually define a possibly semi-smooth and monotone fixed-point mapping; ii) The optimal solutions of the composite convex program and the solutions of the system of nonlinear equations derived from the fixed-point mapping are equivalent. Solving the system of nonlinear equations rediscovers a paradigm on developing second-order methods. Although these fixed-point mappings may not be differentiable, they are often semi-smooth and its generalized Jacobian matrix is positive semidefinite due to monotonicity. By combining a regularization approach and a known hyperplane projection technique, we propose an adaptive semi-smooth Newton method and establish its convergence to global optimality. A semi-smooth Levenberg-Marquardt (LM) method in terms of handling the nonlinear least squares formulation is further presented. In practice, the second-order methods can be activated until the first-order type methods reach a good neighborhood of the global optimal solution. Preliminary numerical results on Lasso regression, logistic regression, basis pursuit, linear programming and quadratic programming demonstrate that our second-order type algorithms are able to achieve quadratic or superlinear convergence as long as the fixed-point residual of the initial point is small enough.

研究の動機と目的

• 合成凸計画問題の解法において、一次および二次の方法の間のギャップを埋めること。
• FBS や DRS などのオペレータ分割法から生じる固定点写像の半スムーズ性および単調性を活用すること。
• これらの写像から導かれる非線形方程式系を解くことで、高速な局所収束を達成する二次の方法を開発すること。
• 非微分可能性に対処するための正則化および平面投影技術を用いて、グローバル収束を保証すること。

提案手法

• 前向き・後ろ向き分割（FBS）またはドーアグラス・ラッハフォード分割（DRS）を用いて、合成凸計画問題を固定点問題に定式化し、可能なかぎり半スムーズかつ単調な写像を導出する。
• 元の問題の最適解と、得られた非線形方程式系の解との等価性を確立する。
• 非微分性に対処するための正則化技術を適用し、単調性により正定値半定値となる一般化ヤコビ行列を構築する。
• グローバル解への収束を保証するため、平面投影を用いた適応的半スムーズニュートン法を開発する。
• 固定点系の非線形最小二乗形式に特化した半スムーズレーベンバーグ・マーカート法を導入する。
• 最初の反復が固定点残差が小さい近傍に到達した場合にのみ、二次の方法を活性化することで、効率性とロバスト性を両立する。

実験結果

リサーチクエスチョン

• RQ1 標準的なオペレータ分割法から得られる固定点写像を、合成凸計画問題に対する効果的な二次の方法の設計に活用できるか？
• RQ2 これらの固定点写像の非微分性を、収束保証を損なわずにどのように扱えるか？
• RQ3 提案された二次のスキームで二次的または超線形的収束を保証する条件は何か？
• RQ4 実際の応用において、一次から二次の方法への移行をどのように適応的に管理できるか？

主な発見

• 合成凸計画問題の最適解は、固定点写像から導かれる非線形方程式系の解と等価である。
• 固定点写像は半スムーズかつ単調であり、一般化ヤコビ行列が正定値半定値であるため、二次の方法が適用可能である。
• 適応的半スムーズニュートン法は、初期固定点残差が小さい場合に、最適解へグローバルに収束し、二次的または超線形的収束を達成する。
• 半スムーズレーベンバーグ・マーカート法は、固定点系の非線形最小二乗形式を解くためのロバストな代替手法を提供する。
• Lasso、ロジスティック回帰、ベーシスプルーズ、線形計画、二次計画の問題に対する予備的数値結果から、好都合な初期化のもとで高速な局所収束が確認された。
• 二次の性能は、一次反復が解に十分に近づいた場合にのみ効果的に活性化され、ロバスト性と効率性のバランスが取れている。