[论文解读] Graph-Dependent Implicit Regularisation for Distributed Stochastic Subgradient Descent

Dominic Richards, Patrick Rebeschini|arXiv (Cornell University)|Sep 18, 2018

Stochastic Gradient Optimization Techniques参考文献 34被引用 4

一句话总结

本文提出了一种针对多智能体凸优化中分布式随机次梯度下降（Distributed SGD）的图依赖隐式正则化方法，无需显式正则化即可实现类中心化的一般化率。通过调节步长并基于图拓扑进行早停，该方法在对数因子范围内保持了统计保证，避免了投影或对偶方法的使用。

ABSTRACT

We propose graph-dependent implicit regularisation strategies for distributed stochastic subgradient descent (Distributed SGD) for convex problems in multi-agent learning. Under the standard assumptions of convexity, Lipschitz continuity, and smoothness, we establish statistical learning rates that retain, up to logarithmic terms, centralised statistical guarantees through implicit regularisation (step size tuning and early stopping) with appropriate dependence on the graph topology. Our approach avoids the need for explicit regularisation in decentralised learning problems, such as adding constraints to the empirical risk minimisation rule. Particularly for distributed methods, the use of implicit regularisation allows the algorithm to remain simple, without projections or dual methods. To prove our results, we establish graph-independent generalisation bounds for Distributed SGD that match the centralised setting (using algorithmic stability), and we establish graph-dependent optimisation bounds that are of independent interest. We present numerical experiments to show that the qualitative nature of the upper bounds we derive can be representative of real behaviours.

研究动机与目标

• 弥合去中心化、无正则化的分布式学习方法在统计一般化保证方面的差距。
• 证明通过步长调节与早停实现的隐式正则化，可在无显式约束或惩罚项的情况下，使分布式设置下的学习率达到类中心化水平。
• 利用算法稳定性，推导出分布式SGD的图依赖优化界与图无关的一般化界。
• 通过数值实验表明，理论上的上界与实际算法行为一致。

提出的方法

• 提出一种分布式随机次梯度下降算法，其中各智能体在本地更新，并通过通信图与邻居交换模型参数。
• 通过将步长设定为 $ \eta = \frac{1}{\beta + 1/\rho} $，引入图依赖的隐式正则化，其中 $ \rho $ 通过 $ \sigma_2(P) $ 依赖于图的谱间隙。
• 利用算法稳定性推导出与图无关的一般化界，即使在去中心化设置下也能匹配中心化设置的性能。
• 采用望远镜求和技巧与次梯度有界性，推导出依赖于图谱性质的优化误差界。
• 证明 $ \eta $ 的选择可消除优化误差中的 $ \|\overline{X}^{s+1} - \overline{X}^s\| $ 项，从而实现更紧密的收敛控制。
• 在光滑性与有界梯度噪声假设下，分析期望次优性间隙 $ \mathbb{E}[\overline{F}(\frac{1}{t}\sum X_v^{s+1}) - \overline{F}(X^\star)] $。

实验结果

研究问题

• RQ1 通过步长调节与早停实现的隐式正则化，是否可在去中心化、无正则化的分布式学习中实现类中心化的一般化？
• RQ2 图拓扑如何影响分布式SGD的优化与一般化性能？
• RQ3 能否利用算法稳定性，推导出与图结构无关的分布式SGD一般化界？
• RQ4 在去中心化设置下，梯度噪声、步长与收敛率之间存在何种相互作用？
• RQ5 能否证明理论上的误差上界能真实反映实际算法行为？

主要发现

• 该方法实现了一般化误差界 $ \frac{\rho}{2}\sigma^2 + \frac{(\beta + 1/\rho)G^2}{2t} + \mathcal{O}\left(\frac{\log((t+1)\sqrt{n})}{1 - \sigma_2(P)}\right) $，在对数因子范围内与中心化设置一致。
• 选择 $ \eta = \frac{1}{\beta + 1/\rho} $ 可消除优化误差中的 $ \|\overline{X}^{s+1} - \overline{X}^s\| $ 项，从而实现更紧密的收敛。
• 通过算法稳定性建立了与图无关的一般化界，表明在无显式正则化的情况下，分布式SGD可实现类中心化的泛化性能。
• 推导出图依赖的优化界，表明收敛速率依赖于通信矩阵 $ P $ 的谱间隙 $ \sigma_2(P) $。
• 数值实验表明，理论上的上界与实际算法行为在定性上高度一致。
• 该方法避免了投影与对偶方法，保持了简洁性，同时在去中心化设置下实现了强大的统计保证。