[論文レビュー] SNAP: Finding Approximate Second-Order Stationary Solutions Efficiently for Non-convex Linearly Constrained Problems

Songtao Lu, Meisam Razaviyayn+3 more|arXiv (Cornell University)|Jul 9, 2019

Sparse and Compressive Sensing Techniques参考文献 32被引用数 5

ひとこと要約

本稿では、線形制約を伴う非凸最適化問題に対して、近似第二階停留点（SOSPs）を効率的に見つける最初の順序アルゴリズムであるSNAPを提案する。一般に成り立つ厳密補完性条件を活用することで、SNAPは逐次勾配射影と負の曲率ステップを交互に用い、1回の反復コストが多項式的であり、反復回数の複雑さがO(1/ε².⁵)となる。これは、このクラスの問題に対して、グローバルな部分線形収束を達成する最初の手法である。

ABSTRACT

This paper proposes low-complexity algorithms for finding approximate second-order stationary points (SOSPs) of problems with smooth non-convex objective and linear constraints. While finding (approximate) SOSPs is computationally intractable, we first show that generic instances of the problem can be solved efficiently. More specifically, for a generic problem instance, certain strict complementarity (SC) condition holds for all Karush-Kuhn-Tucker (KKT) solutions (with probability one). The SC condition is then used to establish an equivalence relationship between two different notions of SOSPs, one of which is computationally easy to verify. Based on this particular notion of SOSP, we design an algorithm named the Successive Negative-curvature grAdient Projection (SNAP), which successively performs either conventional gradient projection or some negative curvature based projection steps to find SOSPs. SNAP and its first-order extension SNAP$^+$, require $\mathcal{O}(1/ε^{2.5})$ iterations to compute an $(ε, \sqrtε)$-SOSP, and their per-iteration computational complexities are polynomial in the number of constraints and problem dimension. To our knowledge, this is the first time that first-order algorithms with polynomial per-iteration complexity and global sublinear rate have been designed to find SOSPs of the important class of non-convex problems with linear constraints.

研究の動機と目的

• 線形制約付き非凸最適化問題における近似第二階停留点（SOSPs）を効率的に計算する課題に対処すること。
• 特に一般的な問題インスタンスにおいて、SOSPsの計算が計算的に実行可能となる条件を同定すること。
• 1回の反復コストが多項式的であり、制約付き非凸問題におけるSOSPsに対してグローバルな部分線形収束レートを達成する最初の順序アルゴリズムを設計すること。
• 厳密補完性条件を用いて、2つのSOSPの定義の間の同等性を確立し、効率的な検証を可能にすること。
• 鞍点を回避し、SOSPsに収束する実用的なアルゴリズムを構築すること。

提案手法

• SNAPは、標準的な勾配射影ステップと負の曲率に基づくステップを交互に繰り返す逐次負曲率勾配射影法を用いる。
• KKT解において一般に成り立つ厳密補完性（SC）条件を活用し、2つのSOSP定義の間の同等性を可能にする。
• アルゴリズムは、ヘッセ行列の完全な計算を避けるために、確率的パワー反復に依存する、負の曲率方向を検出するサブルーチンSP-GDを採用する。
• SNAP + は、オракルによる負固有ペア探索をSP-GDに置き換えた最初の順序バージョンであり、同じ収束レートを維持する。
• 目的関数値の十分な減少と負の曲率検出を組み合わせることで、(ε, √ε)-SOSPへの収束を保証する。
• 1回の反復コストは制約数および問題次元に関して多項式的であり、スケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 非凸線形制約付き問題において、近似第二階停留点がどの条件下で効率的に求められるか。
• RQ2 最初の順序アルゴリズムが、1反復コストが多項式的であり、SOSPsに対してグローバルな部分線形収束を達成できるか。
• RQ3 制約付き設定において、ヘッセ行列を明示的に計算せずに負の曲率をどのように効率的に検出できるか。
• RQ4 一般仮定の下で、第二階停留点の異なる定義の間の関係は何か。
• RQ5 厳密補完性条件を用いて、SOSP条​​件の検証を簡素化できるか。

主な発見

• SNAPは、非凸線形制約付き問題に対して、(ε, √ε)-SOSPを計算する際、O(1/ε².⁵)の反復複雑さを達成する。
• アルゴリズムの1反復コストは、制約数および問題次元に関して多項式的である。
• 一般的な問題インスタンスでは、厳密補完性条件が確率1で成り立つため、2つのSOSP定義の同等性が保証される。
• SP-GDは、1回の呼び出しあたりO(1/ε_H)回の反復で、高い確率で負の曲率方向を正しく同定する。
• 最初の順序バージョンであるSNAP + は、オラクルをSP-GDに置き換えることで、同じ収束レートを維持し、実用性を確保する。
• 本手法は、このクラスの制約付き非凸問題におけるSOSPsに対して、1反復コストが多項式的であり、グローバルな部分線形収束保証を達成する最初の手法を提供する。