[論文レビュー] Complexity of Highly Parallel Non-Smooth Convex Optimization

Sébastien Bubeck, Qijia Jiang+3 more|arXiv (Cornell University)|Jun 25, 2019

Stochastic Gradient Optimization Techniques参考文献 22被引用数 12

ひとこと要約

この論文は、高並列な非滑らか凸最適化における最初のタイトな複雑度バウンドを確立し、$Q = \mathrm{poly}(d)$ 個の勾配クエリが並列で利用可能な場合、勾配降下法が $\widetilde{O}(\sqrt{d})$ ラウンドまで最適であることを示している。$\varepsilon \in [d^{-1}, d^{-1/2}]$ の範囲で、$d^{1/3}/\varepsilon^{2/3}$ の深さを持つ、より高速な新しい加速手法を提案し、これが最適であると仮定している。この結果は、滑らか最適化からの高階加速技術を応用することで達成された。

ABSTRACT

A landmark result of non-smooth convex optimization is that gradient descent is an optimal algorithm whenever the number of computed gradients is smaller than the dimension $d$. In this paper we study the extension of this result to the parallel optimization setting. Namely we consider optimization algorithms interacting with a highly parallel gradient oracle, that is one that can answer $\mathrm{poly}(d)$ gradient queries in parallel. We show that in this case gradient descent is optimal only up to $ ilde{O}(\sqrt{d})$ rounds of interactions with the oracle. The lower bound improves upon a decades old construction by Nemirovski which proves optimality only up to $d^{1/3}$ rounds (as recently observed by Balkanski and Singer), and the suboptimality of gradient descent after $\sqrt{d}$ rounds was already observed by Duchi, Bartlett and Wainwright. In the latter regime we propose a new method with improved complexity, which we conjecture to be optimal. The analysis of this new method is based upon a generalized version of the recent results on optimal acceleration for highly smooth convex optimization.

研究の動機と目的

• Q = $\mathrm{poly}(d)$ のクエリがラウンドごとに利用可能な場合の、高並列非滑らか凸最適化アルゴリズムの最適深さを解明すること。
• ランダム化アルゴリズムに対しても、$\widetilde{O}(\sqrt{d})$ ラウンドを超えると勾配降下法の改善は不可能であることを示す一致する下界を確立すること。
• 深さ $\sqrt{d} \leq \text{深さ} \leq d$ の範囲で、先行研究の $d^{1/4}/\varepsilon$ の深さを上回る、より優れた深さ複雑度を持つ新しいアルゴリズムを提案すること。
• 滑らか最適化からの高階加速技術との関連に基づき、$\varepsilon \in [d^{-1}, d^{-1/2}]$ の範囲で、提案された $d^{1/3}/\varepsilon^{2/3}$ の深さが最適であると仮定すること。

提案手法

• ランダム化高並列アルゴリズムに対する新しい下界を導出し、勾配降下法が $\widetilde{O}(\sqrt{d})$ ラウンドまで最適であることを示し、以前の $d^{1/3}$ のバウンドを改善した。
• 最近の滑らか凸最適化の結果に由来する一般化された高階加速技術に基づく、画期的な新しいアルゴリズムを提案した。
• パラメータ $\theta$ の二分探索を用いたラインサーチ手順を採用し、適応的ステップサイズ制御により精度と収束性を維持した。
• 勾配オラクルの動作をモデル化するため、一般化された曲率の概念と、関数 $\omega(\cdot)$ を用いたオラクル複雑度を導入した。
• 潜在関数 $\zeta^*(\theta)$ の導関数に関する微分不等式とバウンドを用いた、収束速度の洗練された分析を適用した。
• 二分探索の精度を保証するため、$\tau = |u - \ell|$ に基づく停止基準を導入した。

実験結果

リサーチクエスチョン

• RQ1 Q = $\mathrm{poly}(d)$ のクエリがラウンドごとに利用可能な場合、高並列非滑らか凸最適化の最適深さは何か？
• RQ2 Duchiら（2012）の $d^{1/4}/\varepsilon$ の深さは改善可能か？ もしあるならば、どの程度改善できるか？
• RQ3 高並列な状況下で、深さと作業量の間に根本的なトレードオフがあるか？ また、局所探索が非効率的になる臨界的深さは何か？
• RQ4 滑らか最適化から得られる高階加速技術を非滑らか設定に適応することで、並列深さ複雑度を向上させられるか？
• RQ5 提案された $d^{1/3}/\varepsilon^{2/3}$ の深さ複雑度は、$\varepsilon \in [d^{-1}, d^{-1/2}]$ の範囲で最適か？

主な発見

• この論文は、$\widetilde{O}(\sqrt{d})$ ラウンドまで勾配降下法が最適であることを示す一致する下界を確立し、以前の $d^{1/3}$ のバウンドを改善した。
• 深さ $d^{1/3}/\varepsilon^{2/3}$ の新しいアルゴリズムを提案した。これは、$\varepsilon \in [d^{-1}, d^{-1/2}]$ の範囲で、勾配降下法（$1/\varepsilon^2$）および重心法（$d\log(1/\varepsilon)$）の両方をオーダー的に上回る。
• 提案手法は、並列設定において「2次加速」の形を取っており、局所探索が非効率的になる臨界的深さが、逐次的状況の $\widetilde{O}(d)$ から高並列状況の $\widetilde{O}(\sqrt{d})$ にシフトしていることを示した。
• $\varepsilon < d^{-1/2}$ の場合、重心法は深さにおいて非効率であり、新しい手法は $\sqrt{d}$ から $d$ の深さ範囲でそれを上回っていることが確認された。
• 論文は、$d^{1/3}/\varepsilon^{2/3}$ の深さが $\varepsilon \in [d^{-1}, d^{-1/2}]$ の範囲で最適であると仮定しており、深さ最適化されたアルゴリズムの中での最適作業量は未解決の問題として残している。
• 下界はランダム化アルゴリズムに適用可能であり、長年の未解決だった高並列非滑らか最適化の複雑度のギャップを埋めた。Nemirovskiの元々の $d^{1/3}$ の構成を改善した。