[论文解读] Complexity of Highly Parallel Non-Smooth Convex Optimization

Sébastien Bubeck, Qijia Jiang+3 more|arXiv (Cornell University)|Jun 25, 2019

Stochastic Gradient Optimization Techniques参考文献 22被引用 12

一句话总结

本文建立了高度并行非光滑凸优化的首个紧致复杂度界限，表明当每轮可并行查询 $ Q = \mathrm{poly}(d) $ 个梯度时，梯度下降仅在 $ \widetilde{O}(\sqrt{d}) $ 轮内最优。本文提出一种新的加速方法，其深度为 $ d^{1/3}/\varepsilon^{2/3} $，优于先前工作，并推测其在 $ \varepsilon \in [d^{-1}, d^{-1/2}] $ 范围内为最优。该分析借助光滑优化中的高阶加速技术实现了这一结果。

ABSTRACT

A landmark result of non-smooth convex optimization is that gradient descent is an optimal algorithm whenever the number of computed gradients is smaller than the dimension $d$. In this paper we study the extension of this result to the parallel optimization setting. Namely we consider optimization algorithms interacting with a highly parallel gradient oracle, that is one that can answer $\mathrm{poly}(d)$ gradient queries in parallel. We show that in this case gradient descent is optimal only up to $ ilde{O}(\sqrt{d})$ rounds of interactions with the oracle. The lower bound improves upon a decades old construction by Nemirovski which proves optimality only up to $d^{1/3}$ rounds (as recently observed by Balkanski and Singer), and the suboptimality of gradient descent after $\sqrt{d}$ rounds was already observed by Duchi, Bartlett and Wainwright. In the latter regime we propose a new method with improved complexity, which we conjecture to be optimal. The analysis of this new method is based upon a generalized version of the recent results on optimal acceleration for highly smooth convex optimization.

研究动机与目标

• 为解决在每轮可并行查询 $ Q = \mathrm{poly}(d) $ 个梯度的条件下，高度并行非光滑凸优化算法最优深度的理解差距。
• 建立一个匹配的下界，表明即使对于随机化算法，梯度下降在超过 $ \widetilde{O}(\sqrt{d}) $ 轮后也无法实现显著改进。
• 在 $ \sqrt{d} \leq \text{深度} \leq d $ 的范围内，提出一种深度复杂度更优的新算法，优于先前工作的 $ d^{1/4}/\varepsilon $ 深度。
• 基于与高阶加速的联系，推测所提出的 $ d^{1/3}/\varepsilon^{2/3} $ 深度在 $ \varepsilon \in [d^{-1}, d^{-1/2}] $ 范围内为最优。

提出的方法

• 推导出随机化并行算法的新下界，表明梯度下降在 $ \widetilde{O}(\sqrt{d}) $ 轮内最优，优于先前的 $ d^{1/3} $ 边界。
• 提出一种基于广义高阶加速技术的新算法，该技术源自近期光滑凸优化的成果。
• 采用带自适应步长控制的线搜索过程，通过在参数 $ \theta $ 上进行二分查找以保持精度和收敛性。
• 通过函数 $ \omega(\cdot) $ 引入广义曲率和预言机复杂度的概念，以建模并行设置下梯度预言机的行为。
• 利用微分不等式和对势函数 $ \zeta^*(\theta) $ 的导数的有界性，对收敛速率进行精细化分析。
• 引入基于 $ \tau = |u - \ell| $ 的停止准则，确保二分查找过程的精度足够，以维持所需的精度界限。

实验结果

研究问题

• RQ1 当每轮可并行查询 $ Q = \mathrm{poly}(d) $ 个梯度时，高度并行非光滑凸优化的最优深度是什么？
• RQ2 Duchi 等人（2012）的 $ d^{1/4}/\varepsilon $ 深度能否被改进？若能，改进幅度如何？
• RQ3 在高度并行环境下，深度与工作量之间是否存在根本性权衡？局部搜索变得次优的临界深度是多少？
• RQ4 能否将光滑优化中的高阶加速技术适配到非光滑设置，以改善并行深度复杂度？
• RQ5 所提出的 $ d^{1/3}/\varepsilon^{2/3} $ 深度复杂度在 $ \varepsilon \in [d^{-1}, d^{-1/2}] $ 范围内是否最优？

主要发现

• 本文建立了匹配的下界，表明在高度并行环境下，梯度下降在 $ \widetilde{O}(\sqrt{d}) $ 轮内最优，优于先前的 $ d^{1/3} $ 边界。
• 提出一种深度为 $ d^{1/3}/\varepsilon^{2/3} $ 的新算法，其在 $ \varepsilon \in [d^{-1}, d^{-1/2}] $ 范围内优于梯度下降（$ 1/\varepsilon^2 $）和中心点法（$ d\log(1/\varepsilon) $）的阶次。
• 所提方法在并行设置中实现了某种形式的“二次加速”，使得局部搜索变得次优的临界深度从串行情况下的 $ \widetilde{O}(d) $ 降低到高度并行情况下的 $ \widetilde{O}(\sqrt{d}) $。
• 分析表明，当 $ \varepsilon < d^{-1/2} $ 时，中心点法在深度上是次优的，而新方法在 $ \sqrt{d} $ 到 $ d $ 的深度范围内优于该方法。
• 本文推测 $ d^{1/3}/\varepsilon^{2/3} $ 深度在 $ \varepsilon \in [d^{-1}, d^{-1/2}] $ 范围内为最优，并将深度最优算法中的最优工作量作为开放问题留待后续研究。
• 该下界适用于随机化算法，填补了并行非光滑优化复杂度研究中长期存在的空白，优于 Nemirovski 原始的 $ d^{1/3} $ 构造。