[论文解读] Decentralized Riemannian Gradient Descent on the Stiefel Manifold

Shixiang Chen, Alfredo García+2 more|arXiv (Cornell University)|Feb 14, 2021

Distributed Control Multi-Agent Systems参考文献 45被引用 4

一句话总结

本文提出了两种去中心化的黎曼优化算法——DRSGD 和 DRGTA，用于在 Stiefel 流形上求解非凸分布式优化问题，其中各 agent 通过网络上的局部计算与通信来最小化全局目标函数。DRGTA 在使用常数步长时实现了精确收敛，且收敛速率为 O(1/K)，使其成为该设置下的首个此类算法。

ABSTRACT

We consider a distributed non-convex optimization where a network of agents aims at minimizing a global function over the Stiefel manifold. The global function is represented as a finite sum of smooth local functions, where each local function is associated with one agent and agents communicate with each other over an undirected connected graph. The problem is non-convex as local functions are possibly non-convex (but smooth) and the Steifel manifold is a non-convex set. We present a decentralized Riemannian stochastic gradient method (DRSGD) with the convergence rate of $\mathcal{O}(1/\sqrt{K})$ to a stationary point. To have exact convergence with constant stepsize, we also propose a decentralized Riemannian gradient tracking algorithm (DRGTA) with the convergence rate of $\mathcal{O}(1/K)$ to a stationary point. We use multi-step consensus to preserve the iteration in the local (consensus) region. DRGTA is the first decentralized algorithm with exact convergence for distributed optimization on Stiefel manifold.

研究动机与目标

• 解决在 Stiefel 流形上的分布式非凸优化挑战，其中约束集为非凸，且需要各 agent 之间达成一致。
• 设计一种去中心化算法，能够在不使用递减步长的情况下保持对驻点的收敛，从而克服先前方法的局限性。
• 开发一种计算高效的算法，避免使用向量传输，通过多步一致性机制确保局部迭代点始终位于一致区域之内。
• 在光滑性和网络连通性假设下，为随机与确定性变体提供理论收敛保证。
• 建立首个在 Stiefel 流形上实现常数步长精确收敛的去中心化优化结果，填补了分布式黎曼优化中的关键空白。

提出的方法

• 提出一种基于收缩映射更新和多步一致性机制的去中心化黎曼随机梯度方法（DRSGD），以确保迭代点保持在局部一致区域。
• 提出一种新颖的去中心化黎曼梯度追踪算法（DRGTA），通过引入对偶变量追踪全局梯度，从而在使用常数步长时实现精确收敛。
• 采用原始-对偶框架进行收敛性分析，利用梯度追踪技术消除标准去中心化方法中常见的 O(β/(1−σ₂)) 邻域误差。
• 在 Stiefel 流形上应用黎曼优化工具，包括黎曼梯度和收缩映射，以处理非凸流形约束。
• 采用多步一致性机制以降低一致性误差，并确保局部迭代点始终接近平均值，从而保持收敛特性。
• 使用矩阵 F-范数和网络参数 σ₂ 来界定梯度误差和一致性误差，从而实现紧密的收敛性分析。

实验结果

研究问题

• RQ1 能否设计一种去中心化的黎曼优化算法，在 Stiefel 流形上使用常数步长时实现对驻点的精确收敛？
• RQ2 当局部函数光滑但非凸时，去中心化黎曼方法在 Stiefel 流形上的收敛速率是多少？
• RQ3 如何将梯度追踪方法适配到非凸流形（如 Stiefel 流形）上的黎曼优化中，以消除常数步长带来的误差？
• RQ4 多步一致性在保持局部迭代点位于一致区域内并提升去中心化黎曼设置下的收敛性方面发挥何种作用？
• RQ5 是否可能设计一种无需向量传输、基于收缩映射的算法，实现对 Stiefel 流形上分布式非凸优化的 O(1/K) 收敛速率？

主要发现

• DRGTA 在使用常数步长时实现了对驻点的精确收敛，收敛速率为 O(1/K)，是首个在 Stiefel 流形上实现此类性能的去中心化算法。
• DRSGD 实现了对驻点的 O(1/√K) 收敛速率，达到 ε-驻点解的迭代复杂度为 O(1/ε²)。
• 该算法避免了向量传输，相比先前方法显著降低了计算成本并简化了实现。
• 收敛性分析基于原始-对偶框架，通过网络参数和一致性误差界定了梯度追踪误差。
• 通过多步一致性机制，该方法确保局部迭代点始终位于一致区域内，有助于控制其与平均迭代点的偏差。
• 理论界表明，DRSGD 的最小黎曼梯度范数以 O(1/√K) 速率递减，而 DRGTA 的递减速率为 O(1/K)，且显式依赖于网络连通性和问题参数。