[論文レビュー] The global rate of convergence for optimal tensor methods in smooth convex optimization

Alexander Gasnikov, Pavel Dvurechensky+4 more|arXiv (Cornell University)|Sep 2, 2018

Tensor decomposition and applications参考文献 11被引用数 17

ひとこと要約

本稿では、Lipschitz連続なp階微分を備えた滑らかな凸最適化に対して最適なテンソル法を提案し、$ O(\varepsilon^{-\frac{2}{3p+1}}) $ のグローバル収束速度を達成することで、従来知られていた下界と上界の間のギャップを埋めることに成功した。この手法は一様凸性のもとでさらに加速され、数値的にも検証されており、特に$ p=3 $の場合に既存手法を上回る性能を示している。

ABSTRACT

We consider convex optimization problems with the objective function having Lipshitz-continuous $p$-th order derivative, where $p\\geq 1$. We propose a new tensor method, which closes the gap between the lower $O\\left(\\varepsilon^{-\\frac{2}{3p+1}} \ ight)$ and upper $O\\left(\\varepsilon^{-\\frac{1}{p+1}} \ ight)$ iteration complexity bounds for this class of optimization problems. We also consider uniformly convex functions, and show how the proposed method can be accelerated under this additional assumption. Moreover, we introduce a $p$-th order condition number which naturally arises in the complexity analysis of tensor methods under this assumption. Finally, we make a numerical study of the proposed optimal method and show that in practice it is faster than the best known accelerated tensor method. We also compare the performance of tensor methods for $p=2$ and $p=3$ and show that the 3rd-order method is superior to the 2nd-order method in practice.

研究の動機と目的

• 滑らかな凸最適化における$ p $階微分のLipschitz連続性を満たす問題クラスについて、既知の下界$ O(\varepsilon^{-\frac{2}{3p+1}}) $と上界$ O(\varepsilon^{-\frac{1}{p+1}}) $との間の反復複雑度のギャップを埋めること。
• 提案手法を一様凸関数へ拡張し、この仮定のもとで複雑度解析において自然に現れる$ p $階の条件数を導出すること。
• 提案された最適な手法の数値的妥当性を検証し、既存の加速テンソル法と比較すること。
• 特に$ p=3 $の高階手法が2階手法（$ p=2 $）に対して実用的に優れているかどうかを調査すること。

提案手法

• 本稿では、目的関数の$ p $階までの高階テイラー展開を活用し、グローバル収束を保証するためのプロキシマルに類似した構造を組み込んだ新しいテンソル法を提案する。
• 最適な収束速度を達成するために、$ p $階微分情報に基づいた巧みなラインサーチと適応的ステップサイズ戦略を採用する。
• 鍵となる要素として、一様凸性のもとでの収束速度を支配する$ p $階の条件数（$ p $階滑らかさ定数と一様凸性パラメータの比）の導入が行われる。
• 最小最大最適化フレームワークを通じてアルゴリズムが導出され、$ p $階滑らかさを満たす問題クラスにおける最悪ケース複雑度において最適性が保証される。
• 目的関数の曲率に適応する自己調和的類似のバリア項を組み込むことで、一様凸関数への手法の拡張が行われる。
• 合成的および標準的なテスト問題を用いた数値実験を通じて、本手法と既存の加速テンソル法（特に$ p=2 $および$ p=3 $の場合）との性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 滑らかな凸最適化における$ p $階テンソル法の既知の下界と上界との反復複雑度のギャップを埋めることは可能か？
• RQ2 提案手法の収束速度は微分の順序$ p $にどのように依存し、達成可能な最適なレートは何か？
• RQ3 一様凸性の仮定のもとで、この手法は効果的に加速可能か？また、$ p $階の条件数はこの文脈で果たす役割は何か？
• RQ4 提案された最適テンソル法は、特に$ p=3 $の場合に既存の加速テンソル法よりも実用的に速いか？

主な発見

• 提案されたテンソル法は、$ O(\varepsilon^{-\frac{2}{3p+1}}) $ のグローバル収束速度を達成し、既知の下界と一致することで、従来の上界$ O(\varepsilon^{-\frac{1}{p+1}}) $とのギャップを埋めることに成功した。
• 一様凸性のもとでは、収束速度がさらに向上し、$ p $階の条件数が導入され、この設定における複雑度を支配する。
• 数値実験の結果、提案手法は実際の応用において、既存で最も優れた加速テンソル法を上回ることを示した。特に$ p=3 $の場合に顕著な優位性を示した。
• 3階テンソル法（$ p=3 $）は、2階法（$ p=2 $）よりも実験的に優れており、ベンチマーク問題においてより速い収束を示した。
• 理論的複雑度境界は、$ p $階滑らかさを満たす問題クラスにおいて、最悪ケースの意味でタイトかつ最適であることが示された。