[论文解读] A Linearly Convergent Proximal Gradient Algorithm for Decentralized Optimization
论文提出一种具有公共非光滑正则化项的近端梯度分布式算法，并在光滑部分强凸性下证明其全局线性收敛性。它还提供一个简明分析，扩展到当 R=0 时的 EXTRA，并给出收敛速率/步长相关的见解。
Decentralized optimization is a powerful paradigm that finds applications in engineering and learning design. This work studies decentralized composite optimization problems with non-smooth regularization terms. Most existing gradient-based proximal decentralized methods are known to converge to the optimal solution with sublinear rates, and it remains unclear whether this family of methods can achieve global linear convergence. To tackle this problem, this work assumes the non-smooth regularization term is common across all networked agents, which is the case for many machine learning problems. Under this condition, we design a proximal gradient decentralized algorithm whose fixed point coincides with the desired minimizer. We then provide a concise proof that establishes its linear convergence. In the absence of the non-smooth term, our analysis technique covers the well known EXTRA algorithm and provides useful bounds on the convergence rate and step-size.
研究动机与目标
- 在各个智能体间采用公共非光滑正则化项的去中心化组合优化。
- 设计一个近端梯度去中心化算法，其不动点等价于全局最小点。
- 证明在聚合光滑部分强凸性下的全局线性收敛性。
- 在不存在非光滑项时，与已知的 EXTRA 兼容并推导收敛性见解。
提出的方法
- 将去中心化问题形式化为带有共识约束的受限优化，使用网络矩阵 A。
- 推导鞍点 reformulation，以及带有更新 (10a)-(10c) 的近端原-对偶扩散（P2D2）算法。
- 切换到一个去中心化实现，它更新单个辅助向量 Z，并按 (14) 使用 R 的近端算子。
- 给出一个具体的每智能体程序（P2D2）（15），仅需要与邻居的局部通信。
- 建立全局解的定点存在性和唯一性（引理 1）。
- 建立一个线性收敛证明框架，该框架利用带 B-结构惩罚的增强代价和下降不等式（引理 2–4）。
实验结果
研究问题
- RQ1带有公共非光滑正则化项的去中心化近端梯度法是否能够收敛到全局最小点（线性收敛）？
- RQ2在光滑部分和步长的哪些条件下，去中心化设置下可以实现线性收敛？
- RQ3所提出的方法与在不存在非光滑项时的现有算法（如 EXTRA）有何关系与专化？
- RQ4分析对收敛速率和步长有哪些界限？
主要发现
- 在假设 1 和适当的步长条件下，近端原-对偶扩散（P2D2）算法对全局最小点线性收敛。
- 建立了对应全局解的定点存在性与唯一性（引理 1）。
- 当 R=0 时，该方法退化为与 EXTRA 相关的形式，分析提供了与速率相关的界限和步长指引。
- 带 B-惩罚的增强代价框架带来受限强凸性，从而实现线性收敛保证（引理 2）。
- 推导了下降与误差界，关联迭代误差与收缩因子，导出主要线性收敛结果（引理 3–4）。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。