[論文レビュー] A Doubly Accelerated Inexact Proximal Point Method for Nonconvex Composite Optimization Problems

Jiaming Liang, Renato D. C. Monteiro|arXiv (Cornell University)|Nov 28, 2018

Sparse and Compressive Sensing Techniques参考文献 20被引用数 9

ひとこと要約

本稿では、非凸合成最適化問題を解くために、二重に加速された不正確な近位点（D-AIPP）法を提案する。この手法は、外側の加速不正確近位点反復と内側の加速合成勾配反復を組み合わせ、形式 $\min_z f(z) + h(z)$ の問題を解く。ここで $f$ はリプシッツ連続な勾配をもつ非凸関数であり、$h$ は有界な定義域をもつ凸関数である。本手法は、$\hat{\rho}$-近似解を求めるための反復複雑度境界 $\mathcal{O}\left(\frac{M^{1/2}m^{3/2}D^2}{\hat{\rho}^2} + \sqrt{\frac{M}{m}}\log^+\left(\frac{M}{m}\right)\right)$ を達成する。

ABSTRACT

This paper describes and establishes the iteration-complexity of a doubly accelerated inexact proximal point (D-AIPP) method for solving the nonconvex composite minimization problem whose objective function is of the form $f+h$ where $f$ is a (possibly nonconvex) differentiable function whose gradient is Lipschitz continuous and $h$ is a closed convex function with bounded domain. D-AIPP performs two types of iterations, namely, inner and outer ones. Its outer iterations correspond to the ones of the accelerated inexact proximal point scheme. Its inner iterations are the ones performed by an accelerated composite gradient method for inexactly solving the convex proximal subproblems generated during the outer iterations. Thus, D-AIPP employs both inner and outer accelerations.

研究の動機と目的

• 微分可能でリプシッツ連続な勾配をもつ非凸関数と、有界な定義域をもつ閉凸関数の和として表される非凸合成最適化問題に対処すること。
• 外側と内側の両方の加速メカニズムを組み合わせることで、より速い収束を達成する手法を開発すること。
• $\|\hat{v}\| \leq \hat{\rho}$ かつ $\hat{v} \in \partial(f + h)(\hat{z})$ を満たす $\hat{\rho}$-近似解を求めるための反復複雑度境界を確立すること。
• 曲率パラメータ $M$ と $m$ の観点から、より大きなステップサイズ $\lambda = 1/(2m)$ を用いることで、既存の加速手法を改善すること。
• 有界な定義域制約をもつ二次計画問題に対する数値実験を通じて、計算効率を示すこと。

提案手法

• D-AIPP 法は、外側の反復に加速不正確近位点スキームを用いる。各外側反復では、近似的に近位部分問題を解く。
• 各近位部分問題は、$\lambda = 1/(2m)$ を用いて $\min_u \left\{ f(u) + h(u) + \frac{1}{2\lambda}\|u - \tilde{x}_{k-1}\|^2 \right\}$ の形をとり、曲率条件 (2) により強凸性が保証される。
• 内側の反復では、各部分問題を加速合成勾配（ACG）法を用いて解く。この方法は、各反復で $h$ の単一の解像度評価を必要とする。
• 本手法は二重加速戦略を採用する：外側反復ではネステロフ風のモーメンタムによる加速、内側反復では凸部分問題に対するACGによる加速。
• 収束と部分問題の精度を制御するために、バックトラッキングラインサーチと適応的パラメータ $\lambda$、$\theta$、$\delta$ を用いる。
• 出力は、$\hat{v} \in \nabla f(\hat{z}) + \partial h(\hat{z})$ かつ $\|\hat{v}\| \leq \hat{\rho}$ を満たすペア $(\hat{z}, \hat{v})$ であり、残差と誤差項の理論的解析を通じて複雑度境界が導出される。

実験結果

リサーチクエスチョン

• RQ1 二重に加速された不正確な近位点法は、既存の加速手法に比べ、非凸合成問題におけるより優れた反復複雑度境界を達成できるか？
• RQ2 ステップサイズを $\lambda = 1/M$ から $\lambda = 1/(2m)$ に大きくすることで、不正確近位点法の収束性と複雑度にどのような影響があるか？
• RQ3 外側の加速近位点反復と内側の加速合成勾配反復を組み合わせた非凸問題に対する理論的反復複雑度は何か？
• RQ4 曲率比 $M/m$ が変化する状況において、D-AIPP 法は短ステップ ACG 法や AIPP 法と比較して、収束速度とロバスト性において優れているか？
• RQ5 $\lambda$ と $\delta$ の適応的チューニングは、理論的解析の範囲外にあっても、大きな曲率比をもつ問題において性能向上をもたらすか？

主な発見

• D-AIPP 法は、$\hat{\rho}$-近似解を求める反復複雑度境界 $\mathcal{O}\left(\frac{M^{1/2}m^{3/2}D^2}{\hat{\rho}^2} + \sqrt{\frac{M}{m}}\log^+\left(\frac{M}{m}\right)\right)$ を達成する。
• 本手法は二重に加速されている：外側の近位点反復と内側のACG部分問題解法の両方で加速が行われており、単一加速スキームに比べて複雑度が改善されている。
• 曲率比 $M/m$ が小さい場合には、D-AIPP 法は加速勾配（AG）法および加速不正確近位点（AIPP）法よりも、合計反復回数が少ない。
• 曲率比が大きい場合でも、D-AIPP 法は競争力を持つが、テストされたインスタンスでは AIPP 法がより優れた性能を示しており、適応的パrameterチューニングによるさらなる改善の余地がある。
• 数値結果から、D-AIPP 法は AG 法や AIPP 法と同等の目的関数値 $\bar{f}$ を達成するが、反復回数は著しく少ない（例：$M=16777216$, $m=1048576$ の場合、1246 vs. 4429）ことから、優れた収束速度を示している。
• 理論的複雑度は $M^{1/2}m^{3/2}$ に依存しており、短ステップ ACG 法の $M$ に依存するものより有利である。また、大ステップ ACG 法と同等の依存性を有するが、二重加速の利点を併せ持つ。