[论文解读] Lower Bounds for Parallel and Randomized Convex Optimization

Jelena Diakonikolas, Cristóbal Guzmán|arXiv (Cornell University)|Nov 5, 2018

Sparse and Compressive Sensing Techniques参考文献 32被引用 7

一句话总结

本文在广泛的几何结构（ℓp 空间与 Schatten 空间）和光滑度水平（非光滑、弱光滑、光滑）下，建立了并行与随机凸优化的紧致下界。结果表明，除了维度中的对数因子外，并行化无法显著减少轮次或每轮查询次数，使其低于串行复杂度，从而在大多数情形下排除了每轮查询次数多项式有界且轮次复杂度为多对数的并行优化可能性。

ABSTRACT

We study the question of whether parallelization in the exploration of the feasible set can be used to speed up convex optimization, in the local oracle model of computation. We show that the answer is negative for both deterministic and randomized algorithms applied to essentially any of the interesting geometries and nonsmooth, weakly-smooth, or smooth objective functions. In particular, we show that it is not possible to obtain a polylogarithmic (in the sequential complexity of the problem) number of parallel rounds with a polynomial (in the dimension) number of queries per round. In the majority of these settings and when the dimension of the space is polynomial in the inverse target accuracy, our lower bounds match the oracle complexity of sequential convex optimization, up to at most a logarithmic factor in the dimension, which makes them (nearly) tight. Prior to our work, lower bounds for parallel convex optimization algorithms were only known in a small fraction of the settings considered in this paper, mainly applying to Euclidean ($\ell_2$) and $\ell_\infty$ spaces. Our work provides a more general approach for proving lower bounds in the setting of parallel convex optimization.

研究动机与目标

• 确定并行化是否能降低局部预言机模型中凸优化的预言机复杂度。
• 通过将已知的下界扩展至欧几里得空间与 ℓ∞ 空间之外的一般 ℓp 与 Schatten 空间，填补文献中的重大空白。
• 在所有光滑度水平与可行集几何结构下，建立确定性与随机算法的近乎紧致下界。
• 解决关于 ℓ∞ 和 ℓ1 等情形下并行复杂度的长期猜想，并明确凸优化中并行加速的极限。

提出的方法

• 开发了一种新颖的约化框架，将已知困难情形（如 ℓ∞）中的难题实例嵌入至其他 ℓp 与 Schatten 空间。
• 分析利用了反浓度不等式与 ℓp 空间的正交分解，以在对抗性选择下界定最优性差距。
• 分析了高维情形，其中维度 d 作为精度 ε 的反函数进行缩放，从而实现紧致的复杂度界。
• 该方法适用于确定性与随机算法，通过概率论论证来界定随机查询下的成功概率。
• 该方法通过避免依赖特定几何对称性，转而利用范数空间的结构性质，推广了先前结果。
• 关键技术工具包括对最优性差距在 κ-光滑性与维度相关缩放下的精细化分析，从而导出紧致界。

实验结果

研究问题

• RQ1 即使每轮查询次数为多项式级别，是否可能使并行凸优化的预言机复杂度低于串行复杂度？
• RQ2 在一般 ℓp 与 Schatten 空间中，是否可能实现并行凸优化的多对数轮次复杂度？
• RQ3 ℓ∞ 与欧几里得空间的下界是否可推广至其他 ℓp 空间与矩阵 Schatten 空间，并保持紧致性？
• RQ4 在并行预言机复杂度中，光滑度（κ）、维度（d）与精度（ε）之间的精确权衡为何？
• RQ5 能否将非光滑 ℓ∞ 优化的已知下界扩展至光滑与弱光滑情形，并保持紧致性？

主要发现

• 对于 1 ≤ p < 2 的 ℓp 空间与 κ-光滑函数，其并行预言机复杂度至少为 Ω( (1/ε)^(2/(3+2κ)) / (ln(1/ε) + κ ln ln(dK/γ)) )，与串行复杂度仅相差对数因子。
• 在光滑情形（κ=1）下，该界为 Ω( (1/ε)^(2/5) / (ln(1/ε) + ln ln(dK/γ)) )，与串行复杂度 Θ(1/√ε) 相比，指数部分相差 1/10，表明存在根本性障碍。
• 对于弱光滑函数（κ→0），该界变为 Ω( (1/ε)^(2/3) )，与串行复杂度的指数相差 4/3，表明在高维情形下障碍较弱。
• 这些下界对可行集的扩大具有鲁棒性，且适用于无约束问题，超越了有约束情形的限制。
• 该结果恢复并强化了 Nemirovski 在高概率模型下对非光滑 ℓ∞ 优化的早期下界，但仅适用于常数 ε。
• 分析表明，改进 ℓ∞ 与低 p 情形的界需要根本性新方法，因为当前假设（如对最优性差距的假设）已为紧致，无法在不改变困难实例的前提下放松。