[論文レビュー] A global dual error bound and its application to the analysis of linearly constrained nonconvex optimization

Jiawei Zhang, Zhi‐Quan Luo|arXiv (Cornell University)|Jun 30, 2020

Sparse and Compressive Sensing Techniques参考文献 22被引用数 12

ひとこと要約

本稿では、新規の分解技術を用いて、線形制約付き非凸最適化問題に対するグローバルな双対誤差バインディングを導入し、1次順方向プライマルデュアル法が $\mathcal{O}(1/\epsilon^2)$ の反復複雑度で $\epsilon$-停留立解を達成できるようにした。この手法は局所的収束仮定を回避し、スレイター条件やコンパクトな実行可能集合といった制限的な条件も排除する。

ABSTRACT

Error bound analysis, which estimates the distance of a point to the solution set of an optimization problem using the optimality residual, is a powerful tool for the analysis of first-order optimization algorithms. In this paper, we use global error bound analysis to study the iteration complexity of a first-order algorithm for a linearly constrained nonconvex minimization problem. we develop a global dual error bound analysis for a regularized version of this nonconvex problem by using a novel ``decomposition'' technique. Equipped with this global dual error bound, we prove that a suitably designed primal-dual first order method can generate an $ε$-stationary solution of the linearly constrained nonconvex minimization problem within $\mathcal{O}(1/ε^2)$ iterations, which is the best known iteration complexity for this class of nonconvex problems.

研究の動機と目的

• 1次順方向プライマルデュアル法の収束解析における線形制約付き非凸最適化の課題に対処すること。
• 未知または推定が困難な定数に依存する局所的誤差バインディングの制限を克服すること。
• 解集合の近傍に限らない、定義域の任意の点に対して成り立つグローバルな双対誤差バインディングを確立すること。
• スレイター条件、厳密補完性、実行可能集合のコンパクト性といった制限的な仮定を非凸収束解析から排除すること。
• 線形制約付き非凸問題における $\epsilon$-停留立解を求める際の最適な反復複雑度 $\mathcal{O}(1/\epsilon^2)$ を達成すること。

提案手法

• グローバル誤差バインディング解析を可能にするために、元の非凸問題の正則化版を導入する。
• 任意の点から解集合までの距離を推定できるグローバルな双対誤差バインディングを導出するための新規な「分解」技術を開発する。
• 反復間での進行を追跡するためのポテンシャル関数 $\phi^t = K(x^t,z^t;y^t) - 2d(y^t,z^t) + 2P(z^t)$ を用いる。
• コーシー・シュワルツとノルムの不等式を適用して、反復間でのポテンシャル関数の減少をバインドする。
• 誤差バインディングと強凸性に類似した項を用いて、減少量 $\phi^t - \phi^{t+1}$ の下界を確立する。
• 収束と最適な複雑度を保証するためのアルゴリズムパラメータ（例：$\alpha < \alpha' = c(p - L_f)^2 / (4\sigma_{\max}^2(A))$）の条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 局所的仮定に依存せずに、線形制約付き非凸最適化に対してグローバルな双対誤差バインディングを確立できるか？
• RQ2 非凸問題において、1次順方向プライマルデュアル法の反復複雑度を $\mathcal{O}(1/\epsilon^2)$ まで改善できるか？
• RQ3 非凸収束解析において、スレイター条件、厳密補完性、またはコンパクトな実行可能集合といった制限的な仮定を排除できるか？
• RQ4 滑らかなプロキシマル増加ラグランジュ法のパラメータをグローバル誤差バインディングを用いて明示的に計算できるか？
• RQ5 定数ステップサイズを用いたシングルループアルゴリズムで、最適な収束複雑度を達成できるか？

主な発見

• 新規な分解技術を用いて、線形制約付き非凸問題の正則化版に対してグローバルな双対誤差バインディングを確立した。
• 従来の研究で必要とされたスレイター条件、厳密補完性、実行可能集合のコンパクト性の必要性を排除した。
• プライマルデュアル1次順方向法の反復複雑度が $\mathcal{O}(1/\epsilon^2)$ であることを証明し、このクラスの問題における最良の既知のバインディングと一致する。
• グローバル誤差バインディングにより、滑らかなプロキシマル増加ラグランジュ法におけるアルゴリズムパラメータの明示的計算が可能になった。
• 従来の複雑度バインディングと比較して、本結果は $[12]$ の凸制約付き非凸問題における $\mathcal{O}(1/\epsilon^{2.5})$ の複雑度よりも $1/\sqrt{\epsilon}$ 倍低い。
• 本解析により、定数ステップサイズを用いたシングルループアルゴリズムが最適な複雑度を達成可能となり、二重ループプロキシマル法の高い複雑度を回避できるようになった。