[论文解读] Decentralized Online Learning: Take Benefits from Others' Data without Sharing Your Own to Track Global Trend

Yawei Zhao, Chen Yu+4 more|arXiv (Cornell University)|Jan 29, 2019

Advanced Bandit Algorithms Research参考文献 43被引用 17

一句话总结

本文提出了一种去中心化的在线学习框架，通过利用通信来减少损失函数中随机分量带来的遗憾，使节点能够在不共享原始数据的情况下协作追踪全局趋势。该框架建立了 $\mathcal{O}(\sqrt{n^2TG^2 + nT\sigma^2})$ 的遗憾边界，证明当数据表现出随机性（$\sigma$）而非对抗性分量（$G$）时，通信能提升性能。

ABSTRACT

Decentralized Online Learning (online learning in decentralized networks) attracts more and more attention, since it is believed that Decentralized Online Learning can help the data providers cooperatively better solve their online problems without sharing their private data to a third party or other providers. Typically, the cooperation is achieved by letting the data providers exchange their models between neighbors, e.g., recommendation model. However, the best regret bound for a decentralized online learning algorithm is $\Ocal{n\sqrt{T}}$, where $n$ is the number of nodes (or users) and $T$ is the number of iterations. This is clearly insignificant since this bound can be achieved \emph{without} any communication in the networks. This reminds us to ask a fundamental question: \emph{Can people really get benefit from the decentralized online learning by exchanging information?} In this paper, we studied when and why the communication can help the decentralized online learning to reduce the regret. Specifically, each loss function is characterized by two components: the adversarial component and the stochastic component. Under this characterization, we show that decentralized online gradient (DOG) enjoys a regret bound $\Ocal{n\sqrt{T}G + \sqrt{nT}σ}$, where $G$ measures the magnitude of the adversarial component in the private data (or equivalently the local loss function) and $σ$ measures the randomness within the private data. This regret suggests that people can get benefits from the randomness in the private data by exchanging private information. Another important contribution of this paper is to consider the dynamic regret -- a more practical regret to track users' interest dynamics. Empirical studies are also conducted to validate our analysis.

研究动机与目标

• 解决去中心化在线学习中通信是否真正能超越本地学习减少遗憾的根本问题。
• 分析节点间通信在去中心化在线学习中提供性能优势的时机与原因。
• 提出一种精细化的遗憾分析，以区分损失函数中的对抗性与随机性分量。
• 将分析扩展至动态遗憾，以建模现实应用中随时间变化的用户偏好。
• 在不同网络条件下，通过合成数据集和真实数据集的实证验证理论发现。

提出的方法

• 将每个节点的损失函数分解为对抗性分量（$G$）和随机分量（$\sigma$），以分析其对遗憾的独立影响。
• 提出一种去中心化在线梯度（DOG）算法，通过邻居间的通信使用加权平均矩阵 $\mathbf{W}$ 更新本地模型。
• 通过分析本地模型与全局平均值之间的偏差，推导出静态遗憾边界 $\mathcal{O}(\sqrt{n^2TG^2 + nT\sigma^2})$。
• 引入参考模型预算 $M$ 的动态遗憾分析，得到边界 $\mathcal{O}(\sqrt{(n^2TG^2 + nT\sigma)(M+1)})$。
• 利用矩阵扰动理论和谱分析（通过 $\rho$，即 $\mathbf{W}$ 的第二大特征值）来限制节点间模型偏差。
• 在环形拓扑结构和不同网络规模下，对合成数据和真实数据集（room-occupancy, usenet2, spam）进行 DOG 的实证评估。

实验结果

研究问题

• RQ1 在无通信的情况下，去中心化在线学习能否实现优于本地学习的遗憾？在何种条件下可以？
• RQ2 损失函数的随机分量（$\sigma$）在实现通信优势中起到什么作用？
• RQ3 用户偏好的动态变化如何影响去中心化在线学习算法的性能？
• RQ4 网络拓扑或规模是否显著影响去中心化在线学习算法的遗憾？
• RQ5 通信是否能更有效地减少随机损失分量而非对抗性损失分量带来的遗憾？

主要发现

• DOG 算法的静态遗憾被限制在 $\mathcal{O}(\sqrt{n^2TG^2 + nT\sigma^2})$，表明当数据包含随机分量时，通信能有效减少遗憾。
• 遗憾边界表明，对于纯对抗性损失（$\sigma = 0$），通信无益处，因为边界退化为 $\mathcal{O}(nG\sqrt{T})$，与本地学习一致。
• 对于随机损失（$G = 0$），遗憾呈 $\mathcal{O}(\sqrt{nT\sigma^2})$ 的尺度，表明通信能有效利用共享的随机性。
• 动态遗憾边界 $\mathcal{O}(\sqrt{(n^2TG^2 + nT\sigma)(M+1)})$ 确认了通信有助于追踪时变最优模型，尤其在偏好平滑演化时效果更显著。
• 实证结果表明，DOG 的平均损失与集中式在线梯度（COG）相当，且性能对网络规模和拓扑结构不敏感。
• 该算法在多种数据集（room-occupancy, usenet2, spam）上均保持低遗憾，验证了其在真实去中心化环境中的鲁棒性与实用性。