[论文解读] Graph Oracle Models, Lower Bounds, and Gaps for Parallel Stochastic Optimization

Blake Woodworth, Jialei Wang+3 more|OpenBU/Boston University Institutional Repository (Boston University)|May 25, 2018

Stochastic Gradient Optimization Techniques被引用 55

一句话总结

本论文提出一个基于oracle的框架，具有oracle-graph以捕捉并行随机优化设置，推导基于图的深度和规模的下界，并分析若干并行配置的紧性和差距。

ABSTRACT

We suggest a general oracle-based framework that captures different parallel stochastic optimization settings described by a dependency graph, and derive generic lower bounds in terms of this graph. We then use the framework and derive lower bounds for several specific parallel optimization settings, including delayed updates and parallel processing with intermittent communication. We highlight gaps between lower and upper bounds on the oracle complexity, and cases where the "natural" algorithms are not known to be optimal.

研究动机与目标

• 给出一个通用的基于图的oracle模型，用于并行随机优化。
• 给出基于图的深度和规模的oracle复杂度下界。
• 分析这些下界在具体并行设置中的适用性（延迟、间歇通信、分层并行性）。
• 识别下界与现有算法之间的差距，以突出潜在的最优或改进方法。

提出的方法

• 定义一个oracle图G，其节点为随机oracle查询，边编码每次查询可获取的祖先信息。
• 在图约束下，使用随机梯度和随机prox oracle来建模梯度/近端信息的交换。
• 通过随机化约简构造困难函数族，以证明随L（Lipschitz常数）、H（光滑性）、B（定义域界）、D（深度）和N（规模）变化的下界。
• 展示下界如何将一个依赖于D的优化项与一个依赖于N的统计项结合起来。
• 应用Yao’s minimax原理并利用Moreau包络平滑用于prox-oracle下界。

实验结果

研究问题

• RQ1 在依赖图下的并行随机优化中，oracle复杂度的基本极限（下界）是什么？
• RQ2 这些极限如何随问题参数（L、H、B）以及图属性（深度D和规模N）在梯度和prox oracle中变化？
• RQ3 现有的并行优化算法是否达到这些界限，在哪些方面存在潜在改进的差距？
• RQ4 具体的并行结构（例如层状图、延迟、间歇通信）在可实现速率以及下界与上界之间的差距方面的比较如何？
• RQ5 在某些图结构设置下，平滑或主动查询能否缩小自然算法与最优速率之间的差距？

主要发现

• 本文给出随oracle图的深度D和规模N变化的下界，适用于凸、L-Lipschitz、H-光滑的函数，包含一个优化项和一个统计项。
• 对于梯度oracle，下界包括 Ω(min{LB/√D, HB²/D²} + LB/√N)。
• 对于prox oracle，下界包括 Ω(min{LB/D, HB²/D²} + LB/√N)。
• 这些下界对许多常见图是紧的，但在若干情形下（例如延迟更新、间歇通信），下界与自然算法的性能之间存在差距。
• 在简单的层状图中，平滑的A-MB-SGD可以匹配基于prox的下界；当允许主动查询时，基于SVRG的方法可以改进；对于延迟图，wait-and-collect可以是最优但不一定是自然SGD。
• 结果超越固定维度假设，并通过对Moreau包络进行平滑处理将其应用到非光滑情况，揭示在并行设置中Lipschitz和光滑性之间的相互作用。