[论文解读] Distributed Asynchronous Stochastic Dual Coordinate Ascent without Duality.

Zhouyuan Huo, Heng Huang|arXiv (Cornell University)|May 29, 2016

Stochastic Gradient Optimization Techniques被引用 1

一句话总结

该论文提出了一种异步、无对偶的随机对偶坐标上升算法，用于分布式优化，无需依赖对偶公式化，克服了非凸目标函数的局限性，并通过异步通信缓解了慢速节点问题。该算法即使在非凸个体函数下也能实现线性收敛，已在凸和非凸损失函数上得到验证。

ABSTRACT

The primal-dual distributed optimization methods have broad large-scale machine learning applications. Previous primal-dual distributed methods are not applicable when the dual formulation is not available, e.g. the sum-of-non-convex objectives. Moreover, these algorithms and theoretical analysis are based on the fundamental assumption that the computing speeds of multiple machines in a cluster are similar. However, the straggler problem is an unavoidable practical issue in the distributed system because of the existence of slow machines. Therefore, the total computational time of the distributed optimization methods is highly dependent on the slowest machine. In this paper, we address these two issues by proposing distributed asynchronous dual free stochastic dual coordinate ascent algorithm for distributed optimization. Our method does not need the dual formulation of the target problem in the optimization. We tackle the straggler problem through asynchronous communication and the negative effect of slow machines is significantly alleviated. We also analyze the convergence rate of our method and prove the linear convergence rate even if the individual functions in objective are non-convex. Experiments on both convex and non-convex loss functions are used to validate our statements.

研究动机与目标

• 解决现有原始-对偶分布式方法依赖对偶公式化的问题，而该公式化在非凸函数之和的目标下不可用。
• 克服分布式系统中因最慢机器导致性能瓶颈的慢速节点问题。
• 开发一种不依赖对偶性的分布式优化方法，并在异构计算环境中保持高效性。
• 在异步通信条件下，为非凸目标函数建立理论收敛保证。

提出的方法

• 提出一种无需优化问题对偶公式的分布式异步随机对偶坐标上升算法。
• 利用异步通信解耦计算与同步，降低对慢速机器的依赖。
• 采用无对偶更新机制，通过在对偶变量上使用坐标上升直接优化原始目标函数。
• 提出一种收敛性分析框架，即使目标函数中的个体函数为非凸，也能建立线性收敛性。
• 通过随机采样坐标和异步更新，保持在分布式集群中的可扩展性和鲁棒性。
• 设计算法以兼容凸和非凸损失函数，提升其广泛适用性。

实验结果

研究问题

• RQ1 是否存在一种分布式优化算法，能够在不依赖问题对偶公式化的情况下实现线性收敛？
• RQ2 在随机对偶坐标上升方法中，如何有效缓解分布式系统中的慢速节点问题？
• RQ3 当目标函数中的个体函数为非凸时，线性收敛是否仍可实现？
• RQ4 能否在无对偶随机对偶坐标上升中有效集成异步通信，同时不牺牲收敛性保证？
• RQ5 此类方法在非凸设置下的收敛性有何理论基础？

主要发现

• 所提出的算法在非凸个体函数上实现了线性收敛，相较于以往方法通常要求凸性，这是一项重大的理论进展。
• 该方法无需目标函数的对偶公式化，使得其可应用于对偶不可用或难以求解的问题。
• 异步通信有效缓解了慢速节点问题，降低了对最慢机器的依赖，提升了整体系统效率。
• 在凸和非凸损失函数上的实验结果证实了该算法在真实分布式环境中的有效性与鲁棒性。
• 理论分析证实，在异步更新下，即使缺乏对偶公式化且目标函数为非凸，仍可实现线性收敛。