[论文解读] Distributed Online Linear Regression

Deming Yuan, Alexandre Proutière+1 more|arXiv (Cornell University)|Feb 13, 2019

Advanced Bandit Algorithms Research参考文献 33被引用 13

一句话总结

该论文提出了一种针对网络中去中心化数据的分布式在线线性回归算法。各节点通过本地梯度下降进行学习，并与邻居通信以对齐预测器，从而在无界决策集下实现 $\mathcal{O}(T^{3/4})$ 的遗憾边界，在有界决策集下实现 $\mathcal{O}('\sqrt{T}')$ 的遗憾边界，且在完整反馈和bandit反馈下均成立。

ABSTRACT

We study online linear regression problems in a distributed setting, where the data is spread over a network. In each round, each network node proposes a linear predictor, with the objective of fitting the \emph{network-wide} data. It then updates its predictor for the next round according to the received local feedback and information received from neighboring nodes. The predictions made at a given node are assessed through the notion of regret, defined as the difference between their cumulative network-wide square errors and those of the best off-line network-wide linear predictor. Various scenarios are investigated, depending on the nature of the local feedback (full information or bandit feedback), on the set of available predictors (the decision set), and the way data is generated (by an oblivious or adaptive adversary). We propose simple and natural distributed regression algorithms, involving, at each node and in each round, a local gradient descent step and a communication and averaging step where nodes aim at aligning their predictors to those of their neighbors. We establish regret upper bounds typically in ${\cal O}(T^{3/4})$ when the decision set is unbounded and in ${\cal O}(\sqrt{T})$ in case of bounded decision set.

研究动机与目标

• 设计适用于数据去中心化且具备隐私保护特性的网络中分布式在线学习算法，用于线性回归。
• 最小化相对于最佳离线全局线性预测器的遗憾，定义为累计全网平方损失减去最优离线损失。
• 分析在完整信息与bandit反馈下，以及在无偏或自适应对手下的性能表现。
• 在通信受限与仅本地反馈的分布式设置中，建立次线性遗憾边界。

提出的方法

• 每个节点在每轮中使用自身数据和反馈执行一次本地梯度下降步骤。
• 节点与邻居通信以执行一致性步骤，通过平均其预测器来减少网络中各节点之间的不一致。
• 算法在本地更新与通信步骤之间交替进行，以平衡学习与对齐过程。
• 遗憾分析依赖于对累积梯度范数与节点间预测器不一致性的有界性分析。
• 理论分析使用涉及范数与投影的不等式，将预测误差与对最优预测器的偏离联系起来。
• 关键技术组件是基于投影的初始距离到最优解集的有界性。

实验结果

研究问题

• RQ1 当数据分布在网络中且仅能获取本地反馈时，分布式在线线性回归能否实现次线性遗憾？
• RQ2 在分布式在线回归中，完整信息与bandit反馈的选择如何影响遗憾性能？
• RQ3 在分布式在线学习中，有界与无界决策集对遗憾边界有何影响？
• RQ4 通信与一致性步骤如何与本地学习相互作用，以确保遗憾的全局收敛？

主要发现

• 当决策集无界时，所提算法实现了 $\mathcal{O}(T^{3/4})$ 的遗憾边界。
• 对于有界决策集，遗憾规模为 $\mathcal{O}(\sqrt{T})$，这与集中式设置下的已知最优速率一致。
• 遗憾分析表明，累积梯度范数与节点间预测器不一致性是性能边界的决定性因素。
• 该方法确保所有节点在去中心化数据与有限反馈下，集体跟踪全局最优预测器。
• 分析在无偏与自适应对手下均成立，表明对对抗性数据生成具有鲁棒性。