[論文レビュー] Linear convergence of first order methods under weak nondegeneracy assumptions for convex programming

Ion Necoara|arXiv (Cornell University)|Apr 23, 2015

Sparse and Compressive Sensing Techniques被引用数 1

ひとこと要約

この論文は、滑らかな凸最適化における一次順序法の線形収束を、標準的な強い凸性仮定を緩めた条件下で確立する。収束保証を標準的な強い凸性仮定を超えて拡張し、投影勾配法、高速勾配法、実行可能降下法に対して、依然として線形収束率を保証する緩い曲率条件を導入する。主な応用分野として、線形方程式系や線形計画法が含まれる。

ABSTRACT

The standard assumption for proving linear convergence of first order methods for smooth convex optimization is the strong convexity of the objective function, an assumption which does not hold for many practical applications. In this paper, we derive linear convergence rates of several first order methods for solving smooth non-strongly convex constrained optimization problems, i.e. involving an objective function with a Lipschitz continuous gradient that satisfies some relaxed strong convexity condition. In particular, in the case of smooth constrained convex optimization, we provide several relaxations of the strong convexity conditions and prove that they are sufficient for getting linear convergence for several first order methods such as projected gradient, fast gradient and feasible descent methods. We also provide examples of functional classes that satisfy our proposed relaxations of strong convexity conditions. Finally, we show that the proposed relaxed strong convexity conditions cover important applications ranging from solving linear systems, Linear Programming, and dual formulations of linearly constrained convex problems.

研究の動機と目的

• 一次順序法における線形収束の前提条件としての強い凸性の制限を解消すること。
• 強い凸性よりも弱い曲率条件を同定し、それでもなお線形収束率を保証すること。
• 滑らかで強く凸でない、制約付き最適化問題への収束解析を拡張すること。
• 緩い条件が線形方程式系や線形計画法などの実世界問題に適用可能であることを示すこと。
• より広い凸問題のクラスにわたる一次順序法の収束理論を統一すること。

提案手法

• 実行可能集合上でのヘッセ行列の挙動に基づく緩い強い凸性条件を提案し、一部の方向では曲率が消えることを許容する。
• 最適解集合までの距離に依存する一般化された曲率条件を導入し、十分な降下を保証する。
• 新しい条件のもとで投影勾配法、高速勾配法、実行可能降下法を解析し、線形収束率を証明する。
• 勾配のリプシッツ連続性と新しい曲率条件を用いて、反復ごとの目的関数値の減少を評価する。
• 緩い曲率条件を介して最適性ギャップの減少を解釈することで収束速度を導出する。
• 線形制約付き凸問題の双対定式化および線形方程式系にこの枠組みを適用し、適用可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 目的関数の強い凸性を仮定しない一次順序法でも線形収束を達成できるか？
• RQ2 滑らかな凸最適化における線形収束を保証するのに十分な緩い曲率条件は何か？
• RQ3 提案された条件は、標準的な強い凸性仮定をどのように一般化または拡張するか？
• RQ4 新しい条件は、線形方程式系や線形計画法といった重要な応用をカバーするか？
• RQ5 一様な緩い枠組みのもとで、異なる一次順序法の収束解析を統一できるか？

主な発見

• 投影勾配法、高速勾配法、実行可能降下法が、一部の方向で曲率が消えることを許容する緩い強い凸性条件下でも線形収束を達成する。
• 提案された曲率条件は強い凸性よりも弱いが、依然として最適解集合までの距離で測定される線形収束率を保証する。
• この枠組みは、線形計画法や線形方程式系を含む、線形制約付き凸問題の双対定式化に適用可能である。
• 緩い条件を満たす関数クラスの例を提示し、条件が空虚でなく実用的問題に適用可能であることを示す。
• 収束速度は、強い凸性パラメータを一般化する曲率パラメータに依存し、後者をゼロにした場合でも線形収束を維持する。
• 結果として、既存の収束理論を統一的かつ拡張し、線形方程式系や線形計画法を含む重要な応用分野における非強い凸問題の高速最適化を可能にする。