[論文レビュー] Lower Bounds for Higher-Order Convex Optimization

Naman Agarwal, Elad Hazan|arXiv (Cornell University)|Oct 27, 2017

Sparse and Compressive Sensing Techniques参考文献 16被引用数 7

ひとこと要約

本稿は、k階微分可能な凸最適化アルゴリズムに対する最初の既知の下界を確立し、凸関数に対しても、高精度解を達成するには滑らかさパラメータおよび近似許容誤差に多項式的に依存する反復回数が必要であることを示している。著者らは、ネステロフの加速立方正則化法がほぼ最適であることを証明し、2階微分法におけるタイトな複雑度境界 Ω((L₃/ε)^{2/11}) を得た。

ABSTRACT

State-of-the-art methods in convex and non-convex optimization employ higher-order derivative information, either implicitly or explicitly. We explore the limitations of higher-order optimization and prove that even for convex optimization, a polynomial dependence on the approximation guarantee and higher-order smoothness parameters is necessary. As a special case, we show Nesterov's accelerated cubic regularization method to be nearly tight.

研究の動機と目的

• k階微分を用いる高階最適化手法の根本的限界を、特にk階微分を用いる場合に理解すること。
• k階微分の滑らかさパラメータを含む下界を証明することで、高階手法に関する理論的理解のギャップを埋めること。
• 凸問題に対しても、滑らかさおよび精度に多項式的依存が避けられないことを示すこと。
• 一致する下界を証明することで、ネステロフの加速立方正則化法がほぼ最適であることを示すこと。
• 高階滑らかさを維持しながら、クエリポイントにおける高階微分がゼロとなるような構成を提供し、滑らかさが複雑度に与える影響を明確にすること。

提案手法

• k階最適化を、各ステップで現在の点における関数値およびすべての微分（1階からk階まで）を受信する反復的アルゴリズムとしてモデル化する。
• k階滑らかさを、k階微分のリプシッツ連続性により定義し、パラメータ L_{k+1} で表す。
• 滑らかさを保証しつつ微分の挙動を制御できるように、スムージング作用素 S^k_δ を用いて凸関数の族を構築する。
• 将来の関数最小値に関する情報を得られないようにするために、正規直交基底ベクトル a₁,…,a_T の確率的帰納的構築を用いる。
• 確率的議論を用いて、アルゴリズムが少数の反復回数で関数の最小値を特定できる可能性を上限づける。
• 和集合の不等式と球面上の表面積推定を用い、各ステップで最小値に関する有用な情報を得る確率が最大で δ/T であることを示し、全体の成功確率が 1−δ 以上であることを導出する。

実験結果

リサーチクエスチョン

• RQ1 任意のk階最適化アルゴリズムが、凸最適化でε-精度を達成するために必要な最小反復回数は何か？
• RQ2 k階滑らかさ（L_{k+1}）は、高階最適化手法の反復複雑度にどのように影響するか？
• RQ3 高階手法は、条件数や次元に依存しない反復複雑度を達成できるか？
• RQ4 ネステロフの加速立方正則化法は、対数因子を除いて最適か？
• RQ5 関数がk回微分可能でk階滑らかである場合、高階最適化の根本的限界は何か？

主な発見

• 本稿は、任意のk階最適化アルゴリズムがε-精度を達成するための下界として Ω((L_{k+1}/ε)^{2/(5k+1)}) 反復を証明した。
• k=2 の場合、下界は Ω((L₃/ε)^{2/11}) であり、既知の最良の上界 O((L₃/ε)^{2/7}) とほぼタイトである。
• 高階微分がクエリポイントでゼロであっても、この下界は成立するため、滑らかさ制約が複雑度に本質的に寄与していることが示された。
• この構成により、すべてのk階微分が半径kδ内の局所的関数値にのみ依存するようになり、滑らかさおよび微分の挙動を制御可能となった。
• 正規直交基底ベクトルの確率的構築により、十分なクエリ回数を経ない限り、アルゴリズムが最小値の位置を高い確率で予測できないことが保証された。
• 下界は決定的および確率的アルゴリズムの両方に対してロバストであり、次元dを十分に大きくとることで、成功確率が有界に保たれることを保証した。