[論文レビュー] An interior proximal gradient method for nonconvex optimization

Alberto De Marchi, Andreas Themelis|arXiv (Cornell University)|Aug 1, 2022

Sparse and Compressive Sensing Techniques参考文献 43被引用数 6

ひとこと要約

本稿では、滑らかな不等式制約を伴う非凸最適化のための新しい内部点近接勾配法を提案する。内点法と近接勾配スキームを組み合わせることで、非滑らか目的関数と複雑な制約を同時に扱う。アルゴリズムは、厳密に実行可能である反復点を保証し、暖冷起動（warm-start）機能を備え、ステップサイズの上界を必要としないため、従来の非凸近接法よりも弱い条件下でグローバル収束を達成する。

ABSTRACT

We consider structured minimization problems subject to smooth inequality constraints and present a flexible algorithm that combines interior point (IP) and proximal gradient schemes. While traditional IP methods cannot cope with nonsmooth objective functions and proximal algorithms cannot handle complicated constraints, their combined usage is shown to successfully compensate the respective shortcomings. We provide a theoretical characterization of the algorithm and its asymptotic properties, deriving convergence results for fully nonconvex problems, thus bridging the gap with previous works that successfully addressed the convex case. Our interior proximal gradient algorithm benefits from warm starting, generates strictly feasible iterates with decreasing objective value, and returns after finitely many iterations a primal-dual pair approximately satisfying suitable optimality conditions. As a byproduct of our analysis of proximal gradient iterations we demonstrate that a slight refinement of traditional backtracking techniques waives the need for upper bounding the stepsize sequence, as required in existing results for the nonconvex setting.

研究の動機と目的

• 非凸最適化におけるギャップを埋めるために、内点法と近接勾配スキームを組み合わせ、非滑らか目的関数と複雑な制約を同時に扱う。
• 従来の内点法（非滑らか関数に不適切）と近接アルゴリズム（複雑な制約の扱いが不十分）の限界を克服する。
• 厳密に実行可能な反復点を生成し、目的関数値が単調に減少するように設計された、暖冷起動可能なアルゴリズムを開発する。
• 非凸 f、g、c を含む完全非凸問題に対し、グローバル収束を確立する。これにより、従来の研究が凸設定に限られていたのを拡張する。
• 近接勾配反復の分析を洗練させ、非凸設定においてステップサイズの上界を必要としないようにする。

提案手法

• 内点フレームワークと近接勾配部分問題ソルバーを統合し、対数バリア関数を用いて不等式制約を滑らかにする。
• バリア部分問題を、滑らかで微分可能な項（バリア）と、近接に適した（非滑らかでもよい）項（g）の和として定式化し、近接勾配ステップを可能にする。
• ステップサイズの上界を必要としない、洗練されたステップサイズルールを用いたバックトラッキングラインサーチを採用する。
• 各外部反復で反復点を実行可能領域の内部に射影することで、厳密な実行可能性を保証する。
• 二重の反復構造を採用：外部IP反復でバリアパラメータを更新し、近接勾配ステップで部分問題を解く。
• 有限回の反復後に、最適性条件（KKT）を近似的に満たすプライマル・デュアルペアを維持する。

実験結果

リサーチクエスチョン

• RQ1 内点法を非滑らか・非凸目的関数に効果的に拡張できるか。収束性と実行可能性を保つことができるか。
• RQ2 近接勾配法は、ペナルティ法や増大ラグランジュ緩和に依存せずに、複雑な不等式制約をどのように扱えるか。
• RQ3 非凸近接勾配スキームにおける収束のために、ステップサイズの上界が必要な条件は何か。上界の必要性を排除できるか。
• RQ4 内点法と近接勾配法の組み合わせにより、滑らかな制約を伴う非凸問題に対して、暖冷起動可能でグローバル収束するアルゴリズムが得られるか。
• RQ5 問題のサイズと精度許容誤差は、提案アルゴリズムの計算コストにどのような影響を与えるか。

主な発見

• 提案アルゴリズムは、単調に減少する目的関数値を伴い、厳密に実行可能な反復点を生成し、有限回の反復で近似的なKKT点に収束する。
• 本手法は、非凸 f、g、c を含む完全非凸問題に対しグローバル収束を達成し、従来の研究が凸設定に限られていたのを拡張する。
• バックトラッキングラインサーチの洗練により、既存の非凸近接勾配収束結果で必要とされるステップサイズの上界を不要にする。
• 数値実験では、許容誤差が厳しくなると計算コストが顕著に増加し、一階微分法の典型的な遅い尾部収束と整合的である。
• アルゴリズムは n = 10 から n = 1000 の問題サイズにわたりスケーラブルであり、性能プロファイルは精度要件が高くなると勾配評価回数が増加することを示している。
• ジャイタープロットと累積分布関数は、問題次元と許容誤差の両方が、必要な勾配評価回数に強く影響することを確認している。