[論文レビュー] On the Iteration Complexity of Oblivious First-Order Optimization Algorithms

Yossi Arjevani, Ohad Shamir|arXiv (Cornell University)|May 11, 2016

Stochastic Gradient Optimization Techniques参考文献 16被引用数 9

ひとこと要約

この論文は、滑らかさと強凸性のパラメータ以外の関数に依存せずにステップサイズをスケジューリングする「無知型(first-order)最適化アルゴリズム」の根本的な反復複雑度の下界を確立する。$L$-滑らかな凸関数に対しては、$\Omega(\sqrt{L/\epsilon})$ 回の反復を必要とし、$\mu$-強凸関数に対しては $\tilde{\Omega}(\sqrt{L/\mu}\ln(1/\epsilon))$ であると示している。古典的オракルモデルの制限を克服する構造に基づくフレームワークを用いている。

ABSTRACT

We consider a broad class of first-order optimization algorithms which are \emph{oblivious}, in the sense that their step sizes are scheduled regardless of the function under consideration, except for limited side-information such as smoothness or strong convexity parameters. With the knowledge of these two parameters, we show that any such algorithm attains an iteration complexity lower bound of $Ω(\sqrt{L/ε})$ for $L$-smooth convex functions, and $ ildeΩ(\sqrt{L/μ}\ln(1/ε))$ for $L$-smooth $μ$-strongly convex functions. These lower bounds are stronger than those in the traditional oracle model, as they hold independently of the dimension. To attain these, we abandon the oracle model in favor of a structure-based approach which builds upon a framework recently proposed in (Arjevani et al., 2015). We further show that without knowing the strong convexity parameter, it is impossible to attain an iteration complexity better than $ ildeΩ\left((L/μ)\ln(1/ε) ight)$. This result is then used to formalize an observation regarding $L$-smooth convex functions, namely, that the iteration complexity of algorithms employing time-invariant step sizes must be at least $Ω(L/ε)$.

研究の動機と目的

• 最適化される関数の具体的な性質に依存せず、滑らかさと強凸性のパラメータのみに依存する無知型の第一順序最適化アルゴリズムの根本的な計算限界を理解すること。
• 古典的オラクルモデルの制限を克服すること。このモデルはあまりに許容的であり、高次元における計算効率を正しく反映しないことがある。
• 反復的アルゴリズムのダイナミクスを捉える構造に基づくフレームワークを構築し、反復複雑度のよりタイトな下界を可能にすること。
• 強凸性パラメータ $\mu$ が未知である場合のアルゴリズム設計における本質的トレードオフを形式化し、この知識が欠如すると複雑度が著しく悪化することを示すこと。

提案手法

• 第一順序手法を最後の $p$ 個の反復にわたる線形再帰としてモデル化する $p$-Stationary Canonical Linear Iterative (p-SCLI) アルゴリズムの枠組みを導入する。
• 従来のオラクルモデルではなく、情報取得のクエリベースではなくアルゴリズムのダイナミクスに注目する構造ベースのアプローチを採用する。
• ヘッセ行列の構造が既知の二次関数に対して $p$-SCLI アルゴリズムの収束挙動を分析することで、反復複雑度の下界を導出する。
• 再起動スキーム（スキーム 4.2）を適用し、$L$、$\mu$、収束パラメータに基づいてステップサイズを再初期化することで収束速度を向上させる。
• 再起動スキームに対して定常 $p$-SCLI が不変であることに着目し、収束速度に課される制約を導出する。
• 固有値解析と再帰的線形ダイナミクスを用いて、収束速度が本質的に条件数 $\kappa = L/\mu$ によって制限されることを証明する。

実験結果

リサーチクエスチョン

• RQ1 任意の無知型第一順序アルゴリズムが、$L$-滑らかな凸関数において $\epsilon$-最適性を達成するために必要な最小反復回数は何か？
• RQ2 強凸性の存在が、無知型アルゴリズムの反復複雑度の下界にどのように影響するか？
• RQ3 古典的オラクルモデルは、計算効率をよりよく反映し、次元に依存しない境界を提供する構造ベースのフレームワークに置き換え可能か？
• RQ4 強凸性パラメータ $\mu$ がアルゴリズムに未知である場合、反復複雑度はどのように変化するか？
• RQ5 標準的なアルゴリズム（勾配降下法やネステロフ法）が導出された下界に達しているのはなぜか？また、高階の手法への一般化が何によって妨げられるのか？

主な発見

• $L$-滑らかな凸関数に対しては、任意の無知型第一順序アルゴリズムが $\epsilon$-最適性を達成するには、少なくとも $\Omega(\sqrt{L/\epsilon})$ 回の反復が必要である。
• $L$-滑らかな $\mu$-強凸関数に対しては、反復複雑度の下界は $\tilde{\Omega}(\sqrt{L/\mu}\ln(1/\epsilon))$ であり、次元に依存しない。
• 強凸性パラメータ $\mu$ の知識がない場合、最良の可能な反復複雑度は $\tilde{\Omega}((L/\mu)\ln(1/\epsilon))$ に劣化し、これは根本的なトレードオフを示している。
• 時間不変のステップサイズスキームでは、$L$-滑らかな凸関数に対しては少なくとも $\Omega(L/\epsilon)$ 回の反復を要する。これは、これまでに知られていたものよりも強い下界である。
• 再起動スキーム（スキーム 4.2）を $p$-SCLI に適用すると、$\alpha \leq 1$ の場合に限り $\tilde{\mathcal{O}}(\sqrt[\alpha]{\kappa}\ln(1/\epsilon))$ の反復複雑度を達成できるが、これにより定常アルゴリズムでは収束速度が $\mathcal{O}(L/k)$ に制限される。
• この結果により、$\mathcal{O}(L/k)$ 収束を達成する標準的な勾配降下法が、無知型制約下で定常 $p$-SCLI のクラスにおいて最適であることが確認された。なぜなら、これより速い収束速度は不可能であるからである。