[論文レビュー] Convergence analysis of a proximal-type algorithm for DC programs with applications to variable selection

Wu, Shuang, Bui Van Dinh+3 more|arXiv (Cornell University)|Aug 17, 2015

Optimization and Variational Analysis参考文献 26被引用数 3

ひとこと要約

本稿は、微分可能関数 $φ$ と凸関数 $g,h$ を用いた非凸DCプログラム $√ \{ \varphi(x) + g(x) - h(x) \}$ を解くためのブーストドプロキシマルポイント法を提案する。$\varphi$ と $g,h$ の勾配・劣勾配に基づく降下方向とプロキシマルポイント反復を組み合わせることで、Kurdyka-Łojasiewicz性質のもとで、グローバル収束と収束速度の保証が得られ、インertial変種への収束解析の拡張がなされた。

ABSTRACT

We consider a minimization problem of the form $P(φ, g, h):$ $$\min\left\{f(x):= φ(x) + g(x) - h(x) \colon x \in \mathbb{R}^n ight\},$$ where $φ$ is a differentiable function and $g,$ $h$ are convex functions, and introduce iterative methods to finding a critical point of $f$ when $f$ is differentiable. We show that the point computed by proximal point algorithm at each iteration can be used to determine a descent direction for the objective function at this point. This algorithm can be considered as a combination of proximal point algorithm together with a linesearch step that uses this descent direction. We also study convergence results of these algorithms and the inertial proximal methods proposed by Maing$\acute{e}$ and Moudafi (SIAM J. Optim. {\bf 19}(2008), 397--413) under the main assumption that the objective function satisfies the Kurdika--Łojasiewicz property. The proposed algorithm is then applied to solve the variable selection problem in linear regression.

研究の動機と目的

• 微分可能関数 $\varphi$ と凸関数 $g,h$ を持つDC関数 $f(x) = \varphi(x) + g(x) - h(x)$ の最小化のためのグローバル収束アルゴリズムの開発。
• プロキシマルポイントフレームワークに降下方向を統合することで収束特性の向上。
• Kurdyka-Łojasiewicz不等式のもとで、提案アルゴリズムのグローバル収束と収束速度の確立。
• DCプログラムにおけるインエルシャルプロキシマル法への収束解析の拡張。
• 変数選択への応用を踏まえた非凸最適化におけるプロキシマル型アルゴリズムの理論的裏付けの提供。

提案手法

• $\varphi$ の勾配と $g,h$ の劣勾配に基づく降下方向を用いたブーストドプロキシマルポイント法を導入。
• 各反復で降下方向にラインサーチステップを実施し、目的関数の十分な減少を保証。
• グローバル収束と収束速度の証明の主な仮定として、Kurdyka-Łojasiewicz (KŁ) 不等式を採用。
• 非凸・非滑らかなDCプログラムに対処するため、最近のKŁに基づく収束解析手法を応用。
• MaingéとMoudafiのインエルシャルプロキシマル法を、KŁ性質を活用して解析し、収束性を確立。
• KŁ指数 $\kappa$ に基づく収束速度の推定を導出し、$\kappa \in (0,1)$ の場合に線形または非線形収束が生じることを示し、$\|z^{k+1} - z^k\|$ に依存する明示的で有効な境界を提示。

実験結果

リサーチクエスチョン

• RQ1 微分可能関数 $\varphi$ と凸関数 $g,h$ を持つDCプログラムに対して、降下方向を組み込んだプロキシマル型アルゴリズムがグローバル収束を達成できるか。
• RQ2 提案されたブーストドプロキシマルポイント法が、どのような条件下でグローバル収束と定量的収束速度を達成するか。
• RQ3 Kurdyka-Łojasiewicz不等式は、非凸DCプログラムの収束解析をどのように可能にするか。
• RQ4 標準的プロキシマル法の収束結果を、DCプログラミングにおけるインエルシャル変種に拡張可能か。
• RQ5 KŁ指数 $\kappa$ に応じて、提案アルゴリズムの収束速度はどのように規定されるか。

主な発見

• 提案されたブーストドプロキシマルポイント法は、Kurdyka-Łojasiewicz性質のもとで、DCプログラムの臨界点にグローバル収束する。
• 各反復で降下方向にラインサーチステップを実施することで、目的関数の十分な減少が保証される。
• 同じKŁ仮定のもとで、インエルシャルプロキシマル法のグローバル収束が確立され、先行研究を拡張した。
• 収束速度が定量的に評価可能である：KŁ指数 $\kappa \in (0,1)$ の場合、$\kappa$ の値に応じて線形または非線形収束が生じ、$\|z^{k+1} - z^k\|$ に依存する明示的で有効な境界が得られる。
• 収束証明は、KŁ不等式と差分のsummabilityを用いて、列 $\{z^k\}$ がコーシー列であることを示すことにより構築される。
• 解析により、DC分解の構造に起因して、アルゴリズムが変数選択問題に適用可能であることが確認された。