[论文解读] Distributed Online Optimization via Gradient Tracking with Adaptive Momentum.

Guido Carnevale, Francesco Farina+2 more|arXiv (Cornell University)|Sep 3, 2020

Distributed Control Multi-Agent Systems参考文献 47被引用 6

一句话总结

该论文提出 GTAdam，一种分布式在线优化算法，结合梯度追踪与自适应动量估计，在强凸且光滑的设定下实现线性收敛。其展示了有界的平均动态遗憾，并在多智能体学习任务（如时变分类和目标定位）中优于最先进方法。

ABSTRACT

This paper deals with a network of computing agents aiming to solve an online optimization problem in a distributed fashion, i.e., by means of local computation and communication, without any central coordinator. We propose the gradient tracking with adaptive momentum estimation (GTAdam) distributed algorithm, which combines a gradient tracking mechanism with first and second order momentum estimates of the gradient. The algorithm is analyzed in the online setting for strongly convex and smooth cost functions. We prove that the average dynamic regret is bounded and that the convergence rate is linear. The algorithm is tested on a time-varying classification problem, on a (moving) target localization problem and in a stochastic optimization setup from image classification. In these numerical experiments from multi-agent learning, GTAdam outperforms state-of-the-art distributed optimization methods.

研究动机与目标

• 解决无中心协调器的网络中分布式在线优化的挑战。
• 在具有时变代价函数的动态环境中提升收敛性与适应性。
• 设计一种结合梯度追踪与自适应动量的方法，以在在线设置中获得更优性能。
• 在强凸且光滑的问题中实现线性收敛速率，并保持有界的平均动态遗憾。

提出的方法

• GTAdam 算法通过智能体之间的本地信息交换，利用梯度追踪来估计全局梯度。
• 它通过估计一阶和二阶梯度矩（类似于 Adam 算法）实现自适应动量，但适用于分布式环境。
• 每个智能体维护梯度及其动量的本地估计值，并通过本地通信与计算进行更新。
• 该算法使用基于一致性机制的方法，追踪网络中梯度的平均值，确保与全局优化目标对齐。
• 该方法专为在线设置设计，其中代价函数随时间变化，支持实时自适应。

实验结果

研究问题

• RQ1 梯度追踪与自适应动量的结合是否可在分布式在线优化中实现线性收敛？
• RQ2 在具有时变特性的动态环境中，GTAdam 相较于最先进分布式方法表现如何？
• RQ3 在强凸且光滑的代价函数下，GTAdam 的动态遗憾边界是多少？
• RQ4 GTAdam 是否能有效处理在线学习任务，如移动目标定位与图像分类？

主要发现

• GTAdam 在强凸且光滑的在线优化问题中实现了平均动态遗憾的线性收敛速率。
• GTAdam 的平均动态遗憾是有界的，表明其性能随时间保持稳定且可预测。
• 在时变分类任务中，GTAdam 在收敛速度与准确率方面均优于现有分布式优化方法。
• 在移动目标定位任务中，GTAdam 展现出优于基线算法的跟踪性能。
• 在随机图像分类设置中，GTAdam 表现出更优的泛化能力与更快的收敛速度，优于最先进分布式方法。