[论文解读] DADAM: A Consensus-based Distributed Adaptive Gradient Method for Online Optimization

Parvin Nazari, Davoud Ataee Tarzanagh+1 more|arXiv (Cornell University)|Jan 25, 2019

Stochastic Gradient Optimization Techniques被引用 15

一句话总结

DADAM 提出了一种基于共识的分布式自适应梯度方法，用于去中心化网络中的在线优化，通过消除中心节点实现了数据并行化和降低通信开销。理论上，它在动态遗憾边界方面优于集中式自适应方法，实证结果表明在 MNIST 上的训练精度和收敛速度方面优于 Adam 和 Amsgrad 等竞争方法。

ABSTRACT

Adaptive gradient-based optimization methods such as extsc{Adagrad}, extsc{Rmsprop}, and extsc{Adam} are widely used in solving large-scale machine learning problems including deep learning. A number of schemes have been proposed in the literature aiming at parallelizing them, based on communications of peripheral nodes with a central node, but incur high communications cost. To address this issue, we develop a novel consensus-based distributed adaptive moment estimation method ( extsc{Dadam}) for online optimization over a decentralized network that enables data parallelization, as well as decentralized computation. The method is particularly useful, since it can accommodate settings where access to local data is allowed. Further, as established theoretically in this work, it can outperform centralized adaptive algorithms, for certain classes of loss functions used in applications. We analyze the convergence properties of the proposed algorithm and provide a dynamic regret bound on the convergence rate of adaptive moment estimation methods in both stochastic and deterministic settings. Empirical results demonstrate that extsc{Dadam} works also well in practice and compares favorably to competing online optimization methods.

研究动机与目标

• 通过设计一种去中心化替代方案，解决集中式自适应优化中的高通信成本问题。
• 在无需中心节点且仅依赖本地数据访问的情况下，实现大规模机器学习中的高效在线学习。
• 在随机和确定性设置下，理论建立自适应矩估计的动态遗憾边界。
• 证明 DADAM 在某些损失函数类别下可优于集中式自适应算法。
• 通过基于共识的计算和网络拓扑感知，确保算法的鲁棒性和可扩展性。

提出的方法

• 采用基于共识的框架，各智能体仅与邻居通信，避免使用中心协调器。
• 提出一种新型的分布式自适应矩估计算法（DADAM），结合自适应梯度更新与去中心化平均。
• 使用时变混合矩阵 $ W $，采用梅特罗波利斯权重，在网络中传播信息。
• 通过局部共识更新自适应学习率，利用矩估计 $ m_t $ 和 $ v_t $，类似于 Adam，但更新方式为分布式。
• 引入指数衰减率 $ \beta_{1,t} $、$ \beta_{2} $ 和 $ \beta_{3} $ 用于矩估计，其中 $ \beta_{3} $ 控制二阶矩的更新。
• 采用动态遗憾分析，推导出在非独立同分布和非平稳损失序列下的收敛性保证。

实验结果

研究问题

• RQ1 去中心化自适应梯度方法能否在遗憾边界方面优于如 Adam 这类集中式自适应方法？
• RQ2 网络拓扑，特别是谱间隙 $ \sigma_2(W) $，如何影响 DADAM 算法的收敛性？
• RQ3 超参数如 $ \beta_3 $ 对 DADAM 实际性能有何影响？
• RQ4 DADAM 在非凸、非平稳的在线学习设置下是否仍能保持收敛性和稳定性？
• RQ5 DADAM 在训练精度和损失减少方面能否优于现有的去中心化和集中式自适应方法？

主要发现

• DADAM 实现了 $ O\left(\frac{1}{T} \sum_{t=1}^T \alpha_t \right) $ 的动态遗憾边界，明确依赖于网络连通性和学习率衰减。
• 实证结果表明，DADAM 在 MNIST 上收敛速度更快，且训练精度高于 Amsgrad 和 Adam，尤其在稀疏网络拓扑下表现更优。
• 当 $ \sigma_2(W) $ 较高时算法表现最佳，表明谱间隙更大的稀疏网络可提升收敛速度。
• 设置 $ \beta_3 = 0.9 $ 或 $ 0.99 $ 优于 $ \beta_3 = 0 $，表明非零衰减可提升稳定性。
• 理论分析证实，对于某些损失函数类别，特别是梯度非平稳时，DADAM 可优于集中式自适应方法。
• 采用 $ \alpha_t = \frac{\alpha}{\sqrt{nT}} $ 可提升收敛速度，该策略在在线学习中有效平衡了探索与利用。