[论文解读] Decentralised Learning with Random Features and Distributed Gradient Descent

Dominic Richards, Patrick Rebeschini+1 more|arXiv (Cornell University)|Jul 1, 2020

Stochastic Gradient Optimization Techniques被引用 8

一句话总结

该论文提出了一种基于随机特征和分布式梯度下降的去中心化核回归算法，实现了网络中各智能体间高效、轻量级的内存学习。该方法建立了与网络规模线性相关的最小最大最优泛化误差界，在每个智能体的数据量相对于网络拓扑足够时，实现了计算时间的线性加速。

ABSTRACT

We investigate the generalisation performance of Distributed Gradient Descent with Implicit Regularisation and Random Features in the homogenous setting where a network of agents are given data sampled independently from the same unknown distribution. Along with reducing the memory footprint, Random Features are particularly convenient in this setting as they provide a common parameterisation across agents that allows to overcome previous difficulties in implementing Decentralised Kernel Regression. Under standard source and capacity assumptions, we establish high probability bounds on the predictive performance for each agent as a function of the step size, number of iterations, inverse spectral gap of the communication matrix and number of Random Features. By tuning these parameters, we obtain statistical rates that are minimax optimal with respect to the total number of samples in the network. The algorithm provides a linear improvement over single machine Gradient Descent in memory cost and, when agents hold enough data with respect to the network size and inverse spectral gap, a linear speed-up in computational runtime for any network topology. We present simulations that show how the number of Random Features, iterations and samples impact predictive performance.

研究动机与目标

• 为解决无中心融合中心的去中心化核回归挑战，使各智能体能够协作学习本地持有的数据。
• 通过利用随机特征实现各智能体间共享的函数表示，克服去中心化核方法中的内存和参数化障碍。
• 在去中心化网络设置中，为带有隐式正则化的分布式梯度下降提供高概率泛化误差界。
• 在标准源假设和容量假设下，通过实现相对于总网络样本数的最小最大速率，证明该方法的统计最优性。
• 展示与单机学习相比，计算运行时的线性加速和内存成本的线性降低。

提出的方法

• 该算法使用随机特征将输入数据映射到有限维空间，实现各智能体间的共享参数化，避免对集中式模型的需求。
• 在随机特征空间中应用分布式梯度下降，各智能体基于本地数据和通过双随机通信矩阵与邻居通信来更新本地模型。
• 通过步长和迭代次数实现隐式正则化，控制模型复杂度而无需显式惩罚项。
• 该方法利用随机特征空间中的表示定理，确保解保持在有限维子空间中，从而实现高效计算。
• 通过将迭代过程分解为平均分量和偏离分量，结合通信矩阵的谱性质，分析收敛性和泛化性。
• 通过控制个体智能体相对于网络平均值的偏离，利用谱间隙和随机特征近似误差，推导出泛化误差的高概率界。

实验结果

研究问题

• RQ1 能否在无中心融合中心的情况下，高效且稳定地实现去中心化核回归？
• RQ2 随机特征的数量如何影响去中心化网络中的泛化性能？
• RQ3 网络拓扑（以通信矩阵的逆谱间隙衡量）对学习收敛性和误差的影响是什么？
• RQ4 该方法能否在去中心化设置中，针对总数据量实现最小最大最优统计速率？
• RQ5 与集中式学习相比，该算法是否能实现计算运行时的线性加速和内存成本的降低？

主要发现

• 在标准源假设和容量假设下，所提算法在总网络样本数方面实现了最小最大最优泛化误差速率。
• 建立了对预测性能的高概率界，明确依赖于步长、迭代次数、通信矩阵的逆谱间隙和随机特征数量。
• 由于使用了随机特征，与单机核方法相比，该方法实现了内存成本的线性降低。
• 当每个智能体持有的数据量相对于网络规模和逆谱间隙足够大时，该算法在任意网络拓扑下均实现了计算运行时的线性加速。
• 仿真结果表明，预测性能随随机特征数量、迭代次数和本地数据样本量的增加而提升，与理论边界一致。
• 分析表明，个体智能体相对于网络平均值的偏离由通信矩阵的谱间隙控制，网络连接越紧密，收敛越快。