[論文レビュー] Linear convergence of first order methods for non-strongly convex optimization

Ion Necoara, Yurii Nesterov+1 more|arXiv (Cornell University)|Apr 23, 2015

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、2次的関数的成長条項などの緩和された強凸性条件を導入することで、非強凸最適化における1次最適化手法の線形収束を確立している。これらの緩和条件が、投影勾配法、高速勾配法、実行可能降下法の線形収束を保証することが証明され、線形計画法や線形システムへの適用範囲が拡張される。

ABSTRACT

The standard assumption for proving linear convergence of first order methods for smooth convex optimization is the strong convexity of the objective function, an assumption which does not hold for many practical applications. In this paper, we derive linear convergence rates of several first order methods for solving smooth non-strongly convex constrained optimization problems, i.e. involving an objective function with a Lipschitz continuous gradient that satisfies some relaxed strong convexity condition. In particular, in the case of smooth constrained convex optimization, we provide several relaxations of the strong convexity conditions and prove that they are sufficient for getting linear convergence for several first order methods such as projected gradient, fast gradient and feasible descent methods. We also provide examples of functional classes that satisfy our proposed relaxations of strong convexity conditions. Finally, we show that the proposed relaxed strong convexity conditions cover important applications ranging from solving linear systems, Linear Programming, and dual formulations of linearly constrained convex problems.

研究の動機と目的

• 標準的な仮定が実用的応用で失敗する非強凸問題における1次最適化手法の線形収束の制限を克服すること。
• 強凸性を緩和しつつも1次最適化手法の線形収束を保証する一般化された関数的条件を同定すること。
• 線形計画法、線形システムの解法、線形制約付き凸問題の双対定式化といった重要な応用が、これらの緩和条件にカバーされることを示すこと。
• これらの新しい条件の下で、投影勾配法、高速勾配法、実行可能降下法に対する理論的保証と改善された収束速度を提供すること。

提案手法

• 強凸性の緩和として、2次的関数的成長条項を導入し、目的関数が最適集合への2乗距離よりも速く増加することを要請する。
• 強凸性の代替的でより慎重な緩和を提案し、それらが2次的関数的成長条項とどのように関係するかを確立する。
• 緩和された条件を適用して、滑らかで凸かつ制約付き最適化における投影勾配法、高速勾配法、実行可能降下法の線形収束を証明する。
• 線形計画法を凸可能性問題に変換するための同次自己双対埋め込みを用いる。
• 変換された問題に対して1次最適化手法（例：投影勾配法、リスタート付き高速勾配法）を適用し、線形収束を達成する。
• 密度行列およびスパース行列を有するランダムに生成された線形計画法に対して、数値的シミュレーションにより理論的結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 非強凸最適化における1次最適化手法の線形収束を保証するのに十分な、目的関数に関する緩和された条件は何か？
• RQ2 提案された強凸性の緩和は、誤差バインディング、鋭い最小値、制限付き強凸性といった既存の概念とどのように比較できるか？
• RQ3 提案された緩和条件の下で、線形計画法および線形システムに対して1次最適化手法が線形収束を達成できるか？
• RQ4 2次的関数的成長条項と投影勾配法・高速勾配法の収束速度との関係は何か？
• RQ5 理論的収束速度は、スパースおよび密度線形計画法における数値実験での実効的性能とどのように比較できるか？

主な発見

• 2次的関数的成長条項は、滑らかで凸かつ制約付き最適化における投影勾配法、高速勾配法、実行可能降下法の線形収束を保証する。
• 提案された緩和された強凸性条件は、線形システムの解法、線形計画法、線形制約付き凸問題の双対定式化といった重要な応用をカバーする。
• 数値的結果から、リスタート付き高速勾配法がスパースおよび密度線形計画法の両方で、標準的投影勾配法やサイクル座標降下法よりも著しく高速に収束することが示された。
• シミュレーションで理論的線形収束が確認され、誤差の減少が対数的に低下しており、予測された線形レートと整合的である。
• 提案された緩和条件の下で、勾配法の線形収束の必要十分条件が確立された。
• 同次自己双対埋め込みを用いて線形計画法を2次凸問題に再定式化した場合、1次最適化手法は単位精度あたり$\mathcal{O}(1)$回の反復で線形収束を達成し、緩和条件の下で線形時間で解が得られることを示唆する。