[论文解读] AIDE: Fast and Communication Efficient Distributed Optimization

Sashank J. Reddi, Jakub Konečný+3 more|arXiv (Cornell University)|Aug 24, 2016

Stochastic Gradient Optimization Techniques参考文献 13被引用 110

一句话总结

本文介绍了 INEXACTDANE 及其加速变体 AIDE，用于分布式经验风险最小化，在一阶 oracle 方法下实现稳健、通信高效的收敛，并在关键情形下接近最优下界。

ABSTRACT

In this paper, we present two new communication-efficient methods for distributed minimization of an average of functions. The first algorithm is an inexact variant of the DANE algorithm that allows any local algorithm to return an approximate solution to a local subproblem. We show that such a strategy does not affect the theoretical guarantees of DANE significantly. In fact, our approach can be viewed as a robustification strategy since the method is substantially better behaved than DANE on data partition arising in practice. It is well known that DANE algorithm does not match the communication complexity lower bounds. To bridge this gap, we propose an accelerated variant of the first method, called AIDE, that not only matches the communication lower bounds but can also be implemented using a purely first-order oracle. Our empirical results show that AIDE is superior to other communication efficient algorithms in settings that naturally arise in machine learning applications.

研究动机与目标

• 在分布式数据环境中开发用于最小化函数平均值的通信高效分布式优化方法。
• 提出一个对实际数据分区仍然鲁棒的 DANE 的不精确变体。
• 创建一个加速版本（AIDE），在仅使用一阶 oracle 的情况下达到与通信下界匹配的水平。
• 在二次、强凸、弱凸和非凸的情形下提供理论收敛性保证。
• 展示相对于 COCOA+ 的实证优势，并与分布式 SVRG 实现相关联。

提出的方法

• 通过在 DANE 内近似求解局部子问题来引入 INEXACTDANE，由不精确度参数 γ 控制。
• 对二次、强凸、弱凸和非凸情况分析 INEXACTDANE 以获得收敛性保证。
• 提出 AIDE，一个把 Catalyst 风格方案应用于 INEXACTDANE 的加速变体，以达到接近最优的通信复杂度。
• 证明在合适的参数选择下，AIDE 使用纯一阶 oracle 可在对数因子内匹配下界。
• 讨论与分布式 SVRG 的联系以及使用本地求解器（如 SVRG 和 SDCA）进行实际实现的方面。

实验结果

研究问题

• RQ1 在数据分区到 K 台机器时，如何在分布式 ERM 中减少通信轮次？
• RQ2 在 DANE 中的不精确局部求解器是否能保持收敛性并提高对数据分区的鲁棒性？
• RQ3 在实际的一阶 oracle 访问下，加速（AIDE）是否达到接近最优的通信复杂度？
• RQ4 INEXACTDANE 和 AIDE 在二次、强凸、弱凸和非凸目标下的收敛性保证是什么？
• RQ5 这些方法在经验上与 COCOA+ 的比较如何，并在实践中与分布式 SVRG 的关系？

主要发现

• INEXACTDANE 在局部近似求解下仍表现出收敛性，提高对分区的鲁棒性，同时不牺牲关键保证。
• 对于与 δ 相关的二次 Fk，INEXACTDANE 在合适的参数选择和不精确度水平下实现线性样的收敛。
• AIDE，INEXACTDANE 的加速版本，在与 δ 相关的二次设置中仅使用一阶信息就达到通信下界（仅对数因子）的水平。
• 在强凸情形下，AIDE 实现 O((L/λ) log(1/ϵ)) 的迭代复杂度，且通信保证与下界相当。
• 对于弱凸和非凸情形，INEXACTDANE 与 AIDE 提供了在合适扰动和参数选择下的收敛性行为。
• 实证结果显示在二元分类数据集上，AIDE 的表现优于 DANE 和 COCOA+，在条件数较高和局部计算多样性时尤为显著。