[论文解读] Distributed and Inexact Proximal Gradient Method for Online Convex Optimization

Nicola Bastianello, Emiliano Dall’Anese|arXiv (Cornell University)|Jan 3, 2020

Distributed Control Multi-Agent Systems参考文献 34被引用 10

一句话总结

本文提出了一种用于网络中时变复合凸优化的分布式、在线、不精确增广梯度方法（DPGM），其中各节点通过本地更新和通信协作跟踪最优解。该方法在存在不精确梯度和近似近端算子评估的情况下，仍能保证线性收敛至真实最优轨迹的邻域，且跟踪误差受稳定线性系统约束，前提是时间变化的成本和噪声满足较弱假设。

ABSTRACT

This paper develops and analyzes an online distributed proximal-gradient method (DPGM) for time-varying composite convex optimization problems. Each node of the network features a local cost that includes a smooth strongly convex function and a non-smooth convex function, both changing over time. By coordinating through a connected communication network, the nodes collaboratively track the trajectory of the minimizers without exchanging their local cost functions. The DPGM is implemented in an online fashion, that is, in a setting where only a limited number of steps are implemented before the function changes. Moreover, the algorithm is analyzed in an inexact scenario, that is, with a source of additive noise, that can represent e.g. communication noise or quantization. It is shown that the tracking error of the online inexact DPGM is upper-bounded by a convergent linear system, guaranteeing convergence within a neighborhood of the optimal solution.

研究动机与目标

• 解决由于流式数据或动态系统参数变化导致成本函数随时间演化的网络中分布式在线优化的挑战。
• 在不共享本地成本函数的前提下，仅通过本地计算和邻居通信，实现对最优解轨迹的协作跟踪。
• 分析算法在实际网络中常见的不精确性影响，如噪声梯度、近似近端算子和状态传输误差。
• 在时变目标函数和非理想算法更新条件下，建立对跟踪误差的理论收敛保证。
• 提供一个统一框架，将现有分布式增广梯度方法扩展至在线、时变和不精确设置，并给出可证明的性能边界。

提出的方法

• 建立一个分布式复合优化问题，其中每个节点最小化一个光滑强凸函数与一个非光滑凸函数之和，且参数随时间变化。
• 设计一种在线DPGM，每个时间区间内仅执行有限步迭代，以实现实时适应变化的目标。
• 引入三种形式的不精确性：噪声梯度估计、近似近端算子评估以及通信或量化引起的状态噪声。
• 通过在算法递推中引入误差项建模不精确更新，并利用类似李雅普诺夫的分析方法推导跟踪误差的演化边界。
• 定义一个包含原始变量偏差、一致性误差和梯度跟踪误差的联合状态向量，并证明其演化由一个具有稳定矩阵的线性系统所控制。
• 利用矩阵范数分析与三角不等式，将期望跟踪误差以初始误差、时间变化量和不精确性来源的形式进行有界化。

实验结果

研究问题

• RQ1 能否设计一种分布式增广梯度方法，以在每个时间区间内仅执行有限步计算的情况下，跟踪时变复合凸优化问题中的最优解轨迹？
• RQ2 梯度评估、近端算子计算和状态通信中的不精确性如何影响分布式在线算法的收敛性和跟踪性能？
• RQ3 当算法在时变目标函数和非理想更新下运行时，跟踪误差的理论上限是什么？
• RQ4 在不假设最优轨迹模型的前提下，是否能保证在不精确性和时变动态下，算法线性收敛至最优轨迹的邻域？
• RQ5 在每个时间步对算法进行热启动如何影响误差传播和整体收敛速率？

主要发现

• 在线不精确DPGM的跟踪误差被上界限制于一个稳定线性系统的状态，从而确保收敛至最优解轨迹的邻域。
• 期望跟踪误差线性收敛至有界邻域，该邻域的大小取决于成本函数的时间变化量和不精确性的水平。
• 误差界通过一个三元状态向量推导得出，该向量捕捉了原始偏差、一致性误差和梯度跟踪误差，且系统矩阵的谱半径小于1。
• 只要误差项有界，且步长和网络权重选择得当，即使在不精确性存在的情况下，该方法仍能实现线性收敛。
• 热启动策略显著降低了每个时间步的初始误差，相比冷启动，显著提升了整体收敛速率。
• 期望跟踪误差的理论界可表示为几何级数，其上极限被一个与 (1 - δ^M_o) 成反比的项所界定，其中 δ < 1 且 M_o 为每个时间区间内的步数。