[論文レビュー] Near-Optimal Hyperfast Second-Order Method for convex optimization and its Sliding

Dmitry Kamzolov, Alexander Gasnikov|arXiv (Cornell University)|Feb 20, 2020

Stochastic Gradient Optimization Techniques参考文献 46被引用数 10

ひとこと要約

本稿では、リプシッツ連続な3階微分を備えた凸最適化問題に対する近似的最適な超高速2次手法を提示する。収束速度は対数要因を除いて $O(N^{-5})$ を達成する。3次テンソル法の不正確な近的最適な手法と、2次オракル情報のみを用いて部分問題を解くブレグマン距離勾配法を組み合わせることで、このクラスの問題に対して現在までで最も良い収束速度を達成するとともに、関数の和問題に向けた新しいスライディングフレームワークを導入する。

ABSTRACT

In this paper, we present a new Hyperfast Second-Order Method with convergence rate $O(N^{-5})$ up to a logarithmic factor for the convex function with Lipshitz the third derivative. This method based on two ideas. The first comes from the superfast second-order scheme of Yu. Nesterov (CORE Discussion Paper 2020/07, 2020). It allows implementing the third-order scheme by solving subproblem using only the second-order oracle. This method converges with rate $O(N^{-4})$. The second idea comes from the work of Kamzolov et al. (arXiv:2002.01004). It is the inexact near-optimal third-order method. In this work, we improve its convergence and merge it with the scheme of solving subproblem using only the second-order oracle. As a result, we get convergence rate $O(N^{-5})$ up to a logarithmic factor. This convergence rate is near-optimal and the best known up to this moment. Further, we investigate the situation when there is a sum of two functions and improve the sliding framework from Kamzolov et al. (arXiv:2002.01004) for the second-order methods.

研究の動機と目的

• リプシッツ連続な3階微分を備えた関数に対して、現在までで最も良い収束速度を達成する超高速2次最適化手法を開発すること。
• 3階微分の直接計算を避けるために、高次部分問題の解法に2次オラクル情報のみを用いること。
• 2つの凸関数の和からなる合成問題にこの手法を拡張するために、各関数のオラクル複雑度を分離するスライディングフレームワークを導入すること。
• 高次滑らかさの仮定の下で、単一および合成凸最適化問題の両方について、近的最適な収束速度とオラクル複雑度を確立すること。

提案手法

• 手法は、誤差を制御した状態で、誤差を制御した近的最適な加速テンソル法を用いて、テイラー近似の部分問題を解く。これにより、正確な3次情報が不要な状態で収束を保証する。
• ブレグマン距離勾配法を活用して、同じ滑らかさの仮定の下で、2次オラクルへのアクセスのみを用いて部分問題を解く。これにより、実装可能性が向上する。
• ネステロフの超高速2次スケームと不正確勾配技術を組み合わせることで、収束速度を $O(N^{-5})$ まで向上（対数要因を除く）。
• 合成問題に対しては、各関数のオラクル複雑度を分離するスライディングフレームワークを導入し、各関数の微分を独立して計算可能にする。
• 線分探索とモンテイロ–スヴァイターのエンVELOPE技術を用いて、高次滑らかさの下で近的最適性を維持し、収束を保証する。
• 理論的分析により、ブレグマンダイバージェンスと不正確な部分問題解法戦略を用いて、収束速度とオラクル複雑度の上限を確立する。

実験結果

リサーチクエスチョン

• RQ1 2次オラクル情報のみを用いて、リプシッツ連続な3階微分を備えた凸関数に対して、収束速度 $O(N^{-5})$ を達成できるか？
• RQ2 高次部分問題の不正確解を効果的に用いることで、3階微分の直接計算を避けながらも、高速な収束を維持できるか？
• RQ3 スライディングフレームワークを2次テンソル手法に適応し、合成凸関数の各関数のオラクル複雑度を分離できるか？
• RQ4 高次最適化において、部分問題の精度と全体の収束速度の最適なトレードオフは何か？
• RQ5 高次滑らかさの下で、2次手法を用いて、関数の和問題に対して近的最適な収束とオラクル複雑度を達成できるか？

主な発見

• 提案されたハイパーファスト2次手法は、リプシッツ連続な3階微分を備えた凸関数に対して、$O(N^{-5})$ の収束速度を達成し、現在までで最も良いレートを達成する。
• テイラー近似の部分問題をブレグマン距離勾配法で解くことで、3階微分の直接計算を避けることにより、2次オラクル情報のみを用いる。
• 収束速度は近的最適であり、対数要因を除いて理論的下界と一致する。
• 2つの凸関数の和からなる合成問題に対しては、ハイパーファスト2次スライディング手法がオラクル複雑度を分離し、各関数の微分を独立して計算可能である。
• スライディングフレームワークは、$O(N^{-5})$ の収束速度を維持するとともに、関数の和のケースにおいて近的最適なオラクル複雑度を達成する。
• 理論的結果から、この手法を1次および0次手法に拡張可能であり、勾配評価回数の複雑度上限が $\tilde{O}(n\varepsilon^{-1/5})$、ヘッシアンの逆行列計算回数が $\tilde{O}(\varepsilon^{-1/5})$ に達する可能性がある。