[論文レビュー] On Lower and Upper Bounds for Smooth and Strongly Convex Optimization Problems

Yossi Arjevani, Shai Shalev‐Shwartz+1 more|arXiv (Cornell University)|Mar 23, 2015

Stochastic Gradient Optimization Techniques参考文献 17被引用数 17

ひとこと要約

本稿では、滑らかで強く凸な最適化アルゴリズムの収束速度のタイトな下界と上界を固定次元設定で特定する多項式ベースのフレームワークを導入する。このフレームワークにより、ネステロフの加速勾配降下法が最適多項式最適化問題の自然な解として得られ、恣意的な構成を超えて加速の背後にある原理的で統一的な解釈が可能になる。

ABSTRACT

We develop a novel framework to study smooth and strongly convex optimization algorithms, both deterministic and stochastic. Focusing on quadratic functions we are able to examine optimization algorithms as a recursive application of linear operators. This, in turn, reveals a powerful connection between a class of optimization algorithms and the analytic theory of polynomials whereby new lower and upper bounds are derived. Whereas existing lower bounds for this setting are only valid when the dimensionality scales with the number of iterations, our lower bound holds in the natural regime where the dimensionality is fixed. Lastly, expressing it as an optimal solution for the corresponding optimization problem over polynomials, as formulated by our framework, we present a novel systematic derivation of Nesterov's well-known Accelerated Gradient Descent method. This rather natural interpretation of AGD contrasts with earlier ones which lacked a simple, yet solid, motivation.

研究の動機と目的

• 次元が反復回数に比例して増大するのではなく、固定次元の設定でも有効な結果が得られるよう、滑らかで強く凸な最適化における下界のギャップを埋めること。
• 勾配降下法、ヘヴィーボール法、加速勾配降下法といった一次元最適化手法の分析を、再帰的線形作用素フレームワークを通じて統一すること。
• ネステロフの加速勾配降下法を多項式最適化問題の最適解として導出することで、その設計に対する自然で体系的な動機づけを提供すること。
• 多項式ベースのアルゴリズムフレームワークに、二次関数から一般の滑らかで強く凸な関数への一次元拡張を導入すること。

提案手法

• 最適化アルゴリズムを、過去の反復点に適用される再帰的線形変換としてモデル化し、関連する特性多項式の固有値性質の分析に問題を還元する。
• 滑らかさと強凸性のパラメータから導かれる制約を満たす多項式のクラス上で収束速度バウンドを最適化問題として定式化する。
• 多項式理論および根半径の理論を用いて、特に条件数 $\kappa = L/\mu$ に対して収束速度のタイトな上界と下界を導出する。
• ヘヴィーボール法やネステロフのAGDといった既知の手法が、特定の多項式最適化問題の解として得られ、それらの最適性が明らかになる。
• 二次関数に対する多項式ベースのアルゴリズムを、勾配を線形作用素に置き換えることで、一般の滑らかで強く凸な関数へと写像する標準的一次元拡張を導入する。
• 初期化条件が弱い条件下でも、拡張されたアルゴリズムの局所的線形収束性を証明し、収束速度が多項式ベースの解析と一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 次元が固定された状況下で、滑らかで強く凸な関数に対する一次元最適化手法の収束速度のタイトな下界は何か？
• RQ2 勾配降下法、ヘヴィーボール法、AGD といった標準的手法の収束挙動を、多項式フレームワークを通じて体系的かつ統一的に分析する方法は何か？
• RQ3 ネステロフの加速勾配降下法は、恣意的な構成ではなく、多項式クラス上の最適化問題の自然な解として導出可能か？
• RQ4 二次関数に対する多項式ベースのアルゴリズムが、一般の滑らかで強く凸な関数へと拡張可能であるための条件は何か？ その際、収束速度が保持される条件は？
• RQ5 特性多項式の根半径と反復的最適化手法の収束速度との間にはどのような関係があるか？

主な発見

• 本稿では、次元が反復回数に比例して増大する場合にのみ有効だった従来の境界とは異なり、次元が固定された自然な設定でも成り立つ、滑らかで強く凸な最適化の新しい下界を確立した。
• ヘヴィーボール法の収束速度が $\rho^* = \frac{\sqrt{\kappa}-1}{\sqrt{\kappa}+1}$ で抑えられることを示し、この値が当該手法の既知の最適収束速度と一致することを確認した。
• ネステロフの加速勾配降下法が最適多項式最適化問題の解として導出され、その設計に対する原理的かつ体系的な動機づけが与えられた。
• 多項式ベースのアルゴリズムの標準的一次元拡張は、小さな誤差項を除き収束速度を保持し、最小値の近傍に初期化された場合、一般の滑らかで強く凸な関数に対しても線形収束を保証する。
• 本フレームワークにより、任意の一次元最適化手法の収束速度が、その特性多項式の根半径によって決定されることを明らかにした。これにより、アルゴリズム設計と多項式の根解析の間の関係が明確になった。
• 解析により、滑らかで強く凸な問題の最適収束速度が、強凸性と滑らかさの制約下での多項式の極値的性質に根本的に依存することが示された。