[論文レビュー] Near-optimal method for highly smooth convex optimization

Sébastien Bubeck, Qijia Jiang+3 more|arXiv (Cornell University)|Dec 19, 2018

Sparse and Compressive Sensing Techniques参考文献 7被引用数 13

ひとこと要約

本稿では、p次微分がL_p-Lipschitzであるような高次滑らか凸最適化問題に対して、近似的に最適な収束速度を達成する、加速テイラー降下法（ATD）を提案する。高次滑らかさと、モンテイロ＝スヴァイター型の加速フレームワーク内での新規なラインサーチ戦略を組み合わせることで、ATDは収束速度$ widetilde{O}(1/k^{rac{3p+1}{2}})$を達成し、p次滑らか凸関数に対して既知の最良の下界と一致する。

ABSTRACT

We propose a near-optimal method for highly smooth convex optimization. More precisely, in the oracle model where one obtains the $p^{th}$ order Taylor expansion of a function at the query point, we propose a method with rate of convergence $ ilde{O}(1/k^{\frac{ 3p +1}{2}})$ after $k$ queries to the oracle for any convex function whose $p^{th}$ order derivative is Lipschitz.

研究の動機と目的

• 高次滑らかさ（p ≥ 2）の下で、古典的なネステロフ型加速の最適収束速度のギャップを埋める。
• p次滑らか凸関数の下で、可能な限り速い収束速度を達成する手法を開発する。最近確立された下界と一致する。
• 各反復でp次テイラーオラクルを$ \widetilde{O}(1)$回以内に使用する効率的な実装を設計し、従来の手法における計算複雑度の懸念を解消する。
• アルゴリズム内のラインサーチ手順の厳密な解析を提供し、オラクル複雑度を制御しながら実装可能であることを保証する。

提案手法

• 目的関数のクエリ点における完全なp次テイラー展開を返すp次テイラーオラクルに基づく、新しい最適化アルゴリズムである加速テイラー降下法（ATD）を提案する。
• モンテイロ＝スヴァイター加速フレームワークを高次滑らかさに適応し、a_k, A_k, \widetilde{x}_kの列を用いたモーメンタム型更新により収束を促進する。
• 各ステップで十分な進捗を確保するため、$\frac{1}{2} \leq \lambda_{k+1} \frac{L_p \|y_{k+1} - \widetilde{x}_k\|^{p-1}}{(p-1)!} \leq \frac{p}{p+1}$を満たす$\lambda_{k+1}$を決定するラインサーチ機構を導入する。
• 各反復で、離散化された区間上で二分探索戦略を用いて適切な$\lambda_{k+1}$を探索し、その複雑度は$30p\log_2 p + \log_2\left\lceil \frac{L_p \|x^*\|^{p+1}}{\varepsilon} \right\rceil$オラクル呼び出しで抑えられる。
• \sigma-強凸性に類似した条件を用いた精密な誤差バウンドを活用し、反復点と最適解との距離を制御することで、収束解析を厳密に可能にする。
• 反復点$x_k$と$y_k$がそれぞれ$\|x^*\|$および$4\|x^*\|$の範囲内に保たれることを示し、反復点の有界性と安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 滑らか凸最適化における古典的な加速現象は、p ≥ 2 の高次滑らかさに一般化可能であり、最適な収束速度を達成できるか？
• RQ2 p次滑らか凸関数に対して、p次テイラーオラクルを用いて達成可能な最適な収束速度は何か？
• RQ3 高次加速におけるラインサーチステップは、制御された数のオラクルクエリで効率的に実装可能か？
• RQ4 ラインサーチの複雑度は、全体の$ widetilde{O}(1/k^{(3p+1)/2})$収束速度を保つ形で境界づけられるか？
• RQ5 実装可能で実用的なアルゴリズムを用いて、p次滑らかさの下界を達成することは可能か？

主な発見

• ATDは、p次微分がL_p-Lipschitzである任意の凸関数に対して、$O(1/k^{\frac{3p+1}{2}})$の収束速度を達成し、この設定における既知の最良の下界と一致する。
• p > 1の場合、従来の研究で得られた$O(1/k^{p+1})$のレートを改善し、p=2の場合には以前の研究で確立された$O(1/k^{\frac{7}{2}})$のレートとも一致する。
• ATDの各反復は、p次テイラーオラクルをたかだか$30p\log_2 p + \log_2\left\lceil \frac{L_p \|x^*\|^{p+1}}{\varepsilon} \right\rceil$回の呼び出しで実装可能であり、$\widetilde{O}(1)$オラクル呼び出しで実現可能である。
• アルゴリズムは、すべてのkに対して$\|x_k - x^*\| \leq \|x^*\|$および$\|y_k - x^*\| \leq 4\|x^*\|$を保証し、反復点の有界性を確保する。
• 誤差に対して、$f(y_k) - f(x^*) \leq \frac{c_p \cdot L_p \cdot \|x^*\|^{p+1}}{k^{\frac{3p+1}{2}}}$というタイトなバウンドが得られ、$c_p = 2^{p-1}(p+1)^{\frac{3p+1}{2}} / (p-1)!$である。
• 二分探索とリプシッツ連続性の議論を用いて、ラインサーチの複雑度を厳密に境界づけ、各反復における総オラクルコストが所望の精度$\varepsilon$に関して対数的であることを保証する。