[論文レビュー] Inexact Proximal-Point Penalty Methods for Constrained Non-Convex Optimization

Qihang Lin, Runchao Ma+1 more|arXiv (Cornell University)|Aug 30, 2019

Sparse and Compressive Sensing Techniques参考文献 83被引用数 13

ひとこと要約

本稿は、非凸制約最適化問題に対して、近似的なプロキシマル・ポイントと二次ペナルティ法を組み合わせた不正確なプロキシマル・ポイントペナルティ法（iPPP）を提案する。この手法は、適応的加速勾配法を用いて部分問題を近似的に解く。凸制約の下ではスレイター条件のもとで複雑度境界が $ ilde{O}(ε^{-5/2})$ であり、非凸制約の下では非特異性および実行可能性条件に応じて $ ilde{O}(ε^{-3})$ または $ ilde{O}(ε^{-4})$ となる。

ABSTRACT

In this paper, an inexact proximal-point penalty method is studied for constrained optimization problems, where the objective function is non-convex, and the constraint functions can also be non-convex. The proposed method approximately solves a sequence of subproblems, each of which is formed by adding to the original objective function a proximal term and quadratic penalty terms associated to the constraint functions. Under a weak-convexity assumption, each subproblem is made strongly convex and can be solved effectively to a required accuracy by an optimal gradient-based method. The computational complexity of the proposed method is analyzed separately for the cases of convex constraint and non-convex constraint. For both cases, the complexity results are established in terms of the number of proximal gradient steps needed to find an $\varepsilon$-stationary point. When the constraint functions are convex, we show a complexity result of $ ilde O(\varepsilon^{-5/2})$ to produce an $\varepsilon$-stationary point under the Slater's condition. When the constraint functions are non-convex, the complexity becomes $ ilde O(\varepsilon^{-3})$ if a non-singularity condition holds on constraints and otherwise $ ilde O(\varepsilon^{-4})$ if a feasible initial solution is available.

研究の動機と目的

• 非凸目的関数および非凸制約を有する制約付き非凸最適化問題における近似停留点を求める勾配ベースの手法を開発すること。
• 不正確なプロキシマル・ポイントペナルティ法の計算複雑度を、$ε$-停留点に到達するまでのプロキシマル勾配ステップ数の観点から分析すること。
• 異なる正則性条件の下での複雑度境界を確立すること：凸制約ではスレイター条件、非凸制約では非特異性または実行可能性仮定。
• 実データセット上で信頼領域に基づくペナルティ法と実験的に比較し、目的関数値、実行可能性、および停留性の観点で優れた収束を示すこと。

提案手法

• 元の非凸目的関数にプロキシマル項と二次ペナルティ項を加えることで、強い凸性を持つ部分問題の系列を形成する。
• 各部分問題は、誤差を制御可能な不正確な解を許容する適応的加速プロキシマル勾配（AdapAPG）法により近似的に解く。
• 部分問題の精度が達成された際にペナルティパラメータを段階的に増加させるステアリング手順を用い、停留点への収束を保証する。
• 反復点の更新にバックトラッキングラインサーチを用い、拡張ラグランジアン関数の十分な減少を保証する。
• 固定および増大するペナルティパラメータの2つのパラメータ設定を検討し、後者の方が実験で優れた性能を示した。
• 不等式制約および等式制約の両方を扱い、停留性は拡張ラグランジアンの勾配ノルムと制約違反によって測定する。

実験結果

リサーチクエスチョン

• RQ1 目的関数が弱凸で制約が凸である制約付き非凸最適化問題において、$ε$-停留点を求める計算複雑度は何か？
• RQ2 目的関数および制約関数がともに非凸である場合、異なる制約正則性条件のもとで複雑度はどのように変化するか？
• RQ3 不正確なプロキシマル・ポイントペナルティ法は、実際の応用において信頼領域に基づくペナルティ法よりも優れた収束特性を示せるか？
• RQ4 増大するペナルティパラメータと固定のペナルティパラメータの使用が、収束速度および解の品質に与える影響は何か？
• RQ5 実世界の分類問題において、目的関数値、実行可能性、および停留性の観点で、この手法の性能はいかがなものか？

主な発見

• 非凸目的関数に凸制約を適用した場合、スレイター条件のもとで、$ε$-停留点に到達する複雑度は $ ilde{O}(ε^{-5/2})$ である。
• 目的関数および制約がともに非凸である場合、制約に関する非特異性条件が成立すれば、複雑度は $ ilde{O}(ε^{-3})$ となる。
• 非特異性条件が成立しないが、初期実行可能解が利用可能な場合、複雑度は $ ilde{O}(ε^{-4})$ に増加する。
• 数値実験の結果、MNISTおよびcovtypeデータセットにおいて、iPPP法は目的関数値、実行可能性、停留性の観点で信頼領域に基づくペナルティ法を上回る性能を示した。
• 増大するペナルティパラメータを用いたバージョンは、固定ペナルティバージョンを常に上回り、適応的ペナルティ更新戦略の有効性を示した。
• この手法は部分問題の精度と反復回数のバランスをうまく取っており、ベースライン手法よりも少ないデータパスで高品質な停留点を達成した。