[論文レビュー] Proximal Gradient Method with Extrapolation and Line Search for a Class of Nonconvex and Nonsmooth Problems

Lei Yang|arXiv (Cornell University)|Nov 18, 2017

Sparse and Compressive Sensing Techniques参考文献 48被引用数 9

ひとこと要約

本稿では、非凸・非滑らか・非リプシッツな最適化問題に対して、適応的外挿と非単調ラインサーチを組み合わせたプロキシマル勾配法、PGelsを提案する。特別なポテンシャル関数を活用することで、PGelsは外挿とラインサーチを統合し、収束を向上させ、すべてのクラスターポイントが停留立点に収束することを保証するグローバルな部分列収束を達成するとともに、Kurdyka-Łojasiewicz 条件の下で局所的線形収束を確立する。

ABSTRACT

In this paper, we consider a class of possibly nonconvex, nonsmooth and non-Lipschitz optimization problems arising in many contemporary applications such as machine learning, variable selection and image processing. To solve this class of problems, we propose a proximal gradient method with extrapolation and line search (PGels). This method is developed based on a special potential function and successfully incorporates both extrapolation and non-monotone line search, which are two simple and efficient accelerating techniques for the proximal gradient method. Thanks to the line search, this method allows more flexibilities in choosing the extrapolation parameters and updates them adaptively at each iteration if a certain line search criterion is not satisfied. Moreover, with proper choices of parameters, our PGels reduces to many existing algorithms. We also show that, under some mild conditions, our line search criterion is well defined and any cluster point of the sequence generated by PGels is a stationary point of our problem. In addition, by assuming the Kurdyka-$Ł$ojasiewicz exponent of the objective in our problem, we further analyze the local convergence rate of two special cases of PGels, including the widely used non-monotone proximal gradient method as one case. Finally, we conduct some numerical experiments for solving the $\ell_1$ regularized logistic regression problem and the $\ell_{1 ext{-}2}$ regularized least squares problem. Our numerical results illustrate the efficiency of PGels and show the potential advantage of combining two accelerating techniques.

研究の動機と目的

• 非凸・非滑らか・非リプシッツな合成最適化問題を解く際の標準的プロキシマル勾配法の収束遅さを解決する。
• 外挿と非単調ラインサーチの2つの加速技術を統合したフレームワークを構築し、収束速度とロバスト性を向上させる。
• 目的関数の有界性と連続性を含む弱い仮定のもとで、停留立点へのグローバル収束を保証する。
• Kurdyka-Łojasiewicz (KL) 条件の下で、特に非単調プロキシマル勾配法などの特殊ケースにおける局所的収束速度を解析する。
• ε₁-正則化ロジスティック回帰とε₁₋₂-正則化最小二乗問題における数値実験を通じて、両加速技術を組み合わせた実用的利点を示す。

提案手法

• 特別なポテンシャル関数を用いて、外挿と非単調ラインサーチを統合した新しいアルゴリズム PGels を提案する。
• 十分減少条件を満たさない場合に、反復毎に外挿パラメータを適応的に更新するラインサーチ基準を用いる。
• 更新ステップをプロキシマル部分問題により定義する: $\bm{x}^{k+1} \in \mathop{\mathrm{Argmin}}_{\bm{x}} \left\{ \langle \nabla f(\bm{y}^k), \bm{x} \rangle + \frac{\mu}{2} \|\bm{x} - \bm{y}^k\|^2 + P(\bm{x}) \right\}$, ここで $\bm{y}^k = \bm{x}^k + \beta_k(\bm{x}^k - \bm{x}^{k-1})$ である。
• 弱い条件下でもラインサーチ基準が適切に定義されることを保証し、外挿パラメータの適応的調整を可能にする。
• PGels が生成する列が有界であり、すべてのクラスターポイントが問題の停留立点であることを示すことで、グローバルな部分列収束を確立する。
• Kurdyka-Łojasiewicz (KL) 性質の下で局所的収束速度を解析し、2つの特殊ケース（δ=0 の場合（NPG）および非単調プロキシマル勾配法）において、局所的線形収束が達成されることを示す。

実験結果

リサーチクエスチョン

• RQ1 外挿と非単調ラインサーチを併用したプロキシマル勾配法が、非凸・非滑らか・非リプシッツな問題においてグローバル収束を達成できるか。
• RQ2 PGフレームワークにおける、適応的ラインサーチメカニズムが外挿パラメータの選択と更新に与える影響は何か。
• RQ3 PGels のラインサーチ基準が、どのような条件下で適切に定義され、計算的に実行可能となるか。
• RQ4 Kurdyka-Łojasiewicz (KL) 性質の下で、PGels の局所的収束速度は何か。また、既存手法と比較してどうなるか。
• RQ5 外挿と非単調ラインサーチを組み合わせることで、個別の加速技術に比べて優れた実験的性能が得られるか。

主な発見

• PGels で用いられるラインサーチ基準は弱い仮定のもとで適切に定義されており、アルゴリズムが失敗せずに実装可能であることを保証する。
• PGels が生成する列の任意のクラスターポイントは、合成最適化問題 (1.1) の停留立点である。これにより、グローバルな部分列収束が確立される。
• 2つの特殊ケース（PGels で δ=0 の場合（NPG）および非単調プロキシマル勾配法）において、KL 性質と指数 $\theta \in (0, 1/2]$ の下で局所的線形収束が達成される。
• $\ell_1$-正則化ロジスティック回帰および $\ell_{1-2}$-正則化最小二乗問題における数値実験により、PGels は $\mathrm{pDCA}_e$ を上回り、nmAPG と同等の性能を示す。両加速技術の組み合わせによる利点が実証された。
• 非単調ラインサーチにより、外挿パラメータの選択により高い柔軟性が得られ、ロバスト性が向上する。実験では、PGels が常に NPG を上回ることで、その有効性が裏付けられた。
• 特定のパrameter設定のもとで、提案手法は PG, PGe, NPG などの既知のアルゴリズムに還元される。これにより、本手法の一般性と柔軟性が確認された。