[論文レビュー] Complexity of a quadratic penalty accelerated inexact proximal point method for solving linearly constrained nonconvex composite programs

Weiwei Kong, Jefferson G. Melo+1 more|arXiv (Cornell University)|Feb 10, 2018

Sparse and Compressive Sensing Techniques参考文献 28被引用数 8

ひとこと要約

本稿では、線形制約付き非凸合成プログラムを解くための2次ペナルティ加速不正確近位点（QP-AIPP）法を提案する。この手法は、ペナルティ付き部分問題を解くために加速不正確近位点（AIPP）スキームとACG法を組み合わせたものである。有限の最適値を仮定する弱い条件下で、$\mathcal{O}(\hat{\rho}^{-2}\hat{\eta}^{-1})$ の反復複雑性バウンドを確立し、$\|\hat{v}\| \leq \hat{\rho}$ および $\|A\hat{z} - b\| \leq \hat{\eta}$ を満たす三つ組 $(\hat{z}, \hat{v}, \hat{p})$ を生成する。この条件下では、定義域の有界性や最適解の存在を仮定しない。

ABSTRACT

This paper analyzes the iteration-complexity of a quadratic penalty accelerated inexact proximal point method for solving linearly constrained nonconvex composite programs. More specifically, the objective function is of the form $f + h$ where $f$ is a differentiable function whose gradient is Lipschitz continuous and $h$ is a closed convex function with bounded domain. The method, basically, consists of applying an accelerated inexact proximal point method for solving approximately a sequence of quadratic penalized subproblems associated to the linearly constrained problem. Each subproblem of the proximal point method is in turn approximately solved by an accelerated composite gradient (ACG) method. It is shown that the proposed scheme generates a $ρ$-approximate stationary point in at most ${\cal{O}}(ρ^{-3})$ ACG iterations. Finally, numerical results showing the efficiency of the proposed method are also given.

研究の動機と目的

• 線形制約付き非凸合成プログラムを解くための1次元法を開発し、反復複雑性を改善すること。目的関数は $f + h$ であり、$f$ は滑らかで $L_f$-リプシッツ連続、$h$ は閉凸である。
• 線形制約付き非凸問題を解く挑戦に、2次ペナルティ法と不正確近位点スキームを組み合わせることで対処すること。
• 部分問題の解法に加速不正確近位点（AIPP）法を用いることで、標準の加速勾配法よりも優れた複雑性を達成すること。これは曲率情報を利用し、部分問題にAIPP法を適用することにより実現される。
• 反復複雑性バウンドを $\hat{\rho}$（停留性の許容誤差）と $\hat{\eta}$（実行可能性の許容誤差）に依存させるが、定義域の有界性や最適解の存在を仮定しないこと。

提案手法

• 元の問題を、$\min_z f(z) + h(z) + \frac{c}{2}\|Az - b\|^2$ の形のペナルティ付き部分問題に変換するため、2次ペナルティアプローチを適用する。
• 各ペナルティ付き部分問題は、ペナルティ関数の近位近似を繰り返し最小化する加速不正確近位点（AIPP）法により近似的に解く。
• AIPP法は、$\min_z f(z) + h(z) + \frac{c}{2}\|Az - b\|^2 + \frac{1}{2\lambda}\|z - z_{k-1}\|^2$ の形の部分問題を、加速合成勾配（ACG）法により解く。
• ペナルティパラメータ $c$ は、実行可能性許容誤差 $\|Az - b\| \leq \hat{\eta}$ を満たすまで適応的に増加させ、$\hat{\rho}$-近似停留点への収束を保証する。
• AIPP法は、目的関数の下界曲率 $m$ を活用し、$\mathcal{O}(\sqrt{M/m} \cdot \min\{\phi(z_0) - \phi_*, m d_0^2\} / \rho^2 + \sqrt{M/m} \log^+(M/m))$ の複雑性バウンドを達成する。これは標準ACG法に比べて $\sqrt{M/m}$ 倍の改善をもたらす。
• 本手法は、最小限の仮定の下で動作する。具体的には、元問題の最適値が有限であることのみを仮定し、$\text{dom}\,h$ が有界でなくてもよく、最適解が存在する必要もない。

実験結果

リサーチクエスチョン

• RQ1 線形制約付き非凸合成プログラムを解くために、2次ペナルティ法と加速不正確近位点スキームを組み合わせた反復複雑性は何か？
• RQ2 ペナルティ付き部分問題を解くためにAIPP法を用いることで、標準ACG法に比べて複雑性はどのように改善されるか？
• RQ3 本手法は、定義域のサイズや最適解の存在を仮定せず、$\hat{\rho}$-近似停留点と $\hat{\eta}$-実行可能解を達成できるか？
• RQ4 複雑性バウンドは、ペナルティパラメータ $c$、リプシッツ定数 $M$、ペナルティ付き目的関数の下界曲率 $m$ にどのように依存するか？
• RQ5 本手法は、最終反復が同時に停留性と実行可能性の許容誤差を満たすように保証する仕組みは何か？

主な発見

• QP-AIPP法は、最大 $\mathcal{O}(\hat{\rho}^{-2}\hat{\eta}^{-1})$ の加速合成勾配（ACG）反復で、$\rho$-近似停留点と $\eta$-実行可能解を生成する。
• 本手法は、元問題の最適値が有限であるという弱い仮定の下で、定義域の有界性や最適解の存在を仮定しない条件下でも、この複雑性バウンドを達成する。
• AIPP部分問題ソルバーは、標準ACG法に比べてリプシッツ定数 $M$ への依存性を $\mathcal{O}(M)$ から $\mathcal{O}(\sqrt{M})$ に削減し、下界曲率 $m$ の活用によりこれを達成する。
• AIPP法の反復複雑性バウンドは、$\mathcal{O}\left(\frac{\sqrt{Mm}}{\rho^2}\min\{\phi(z_0) - \phi_*, m d_0^2\} + \sqrt{\frac{M}{m}}\log^+\left(\frac{M}{m}\right)\right)$ であり、これは標準ACG法に比べて $\sqrt{M/m}$ 倍の改善を示す。
• 数値結果により、提案手法の効率性が確認され、理論的複雑性バウンドが実際の計算でも成立することが示された。
• 本手法は、最終反復が $\|\hat{v}\| \leq \hat{\rho}$ および $\|A\hat{z} - b\| \leq \hat{\eta}$ を同時に満たすことを保証し、実行可能性を満たすまでペナルティパラメータ $c$ を適応的に増加させる。