[论文解读] Cooperative Online Learning: Keeping your Neighbors Updated

Nicolò Cesa‐Bianchi, Tommaso Cesari+1 more|arXiv (Cornell University)|Jan 23, 2019

Advanced Bandit Algorithms Research参考文献 18被引用 8

一句话总结

本文研究了在异步、网络化设置下，代理通过与邻居共享反馈进行合作在线学习的问题。在随机激活下，忽略网络结构的无感知代理可实现最优遗憾，其规模为 $\sqrt{\alpha T}$，其中 $\alpha$ 为独立数；在对抗性激活下，网络知识至关重要，通过利用团覆盖结构可实现 $\mathcal{O}(\sqrt{\overline{\chi}T})$ 的遗憾界，其中 $\overline{\chi}$ 为团覆盖数。

ABSTRACT

We study an asynchronous online learning setting with a network of agents. At each time step, some of the agents are activated, requested to make a prediction, and pay the corresponding loss. The loss function is then revealed to these agents and also to their neighbors in the network. Our results characterize how much knowing the network structure affects the regret as a function of the model of agent activations. When activations are stochastic, the optimal regret (up to constant factors) is shown to be of order $\sqrt{αT}$, where $T$ is the horizon and $α$ is the independence number of the network. We prove that the upper bound is achieved even when agents have no information about the network structure. When activations are adversarial the situation changes dramatically: if agents ignore the network structure, a $Ω(T)$ lower bound on the regret can be proven, showing that learning is impossible. However, when agents can choose to ignore some of their neighbors based on the knowledge of the network structure, we prove a $O(\sqrt{\overlineχ T})$ sublinear regret bound, where $\overlineχ \ge α$ is the clique-covering number of the network.

研究动机与目标

• 理解在网络结构影响下，部分代理激活的异步、分布式在线学习中的遗憾表现。
• 分析合作在线学习中随机与对抗性激活机制之间的性能差距。
• 研究代理是否可在不了解网络拓扑结构的情况下实现次线性遗憾。
• 刻画在对抗性激活下实现次线性遗憾所需的最小结构知识。
• 基于图参数（如独立数 $\alpha$ 和团覆盖数 $\overline{\chi}$）建立紧致的遗憾界。

提出的方法

• 代理使用时间可变正则化项 $g_t = \frac{\sqrt{t}}{\eta}g$ 的在线镜像下降（OMD）算法。
• 在随机设置中，代理使用无感知网络接口，处理反馈时不依赖邻居信息或图结构。
• 在对抗性设置中，代理基于网络的团覆盖结构使用结构化接口，忽略其他团的反馈。
• 通过将时间步分解为团，并利用标准 OMD 遗憾界对每个团的累积遗憾进行有界，从而分析遗憾。
• 分析利用正则化项的强凸性以及损失函数次梯度的对偶范数有界性。
• 关键技术是使用詹森不等式对各团的总遗憾进行上界估计，从而得到 $\sqrt{\overline{\chi}T}$ 的缩放形式。

实验结果

研究问题

• RQ1 代理是否可在不了解网络结构的情况下，在异步、网络化的在线学习设置中实现次线性遗憾？
• RQ2 网络的独立数 $\alpha$ 与随机激活下最优遗憾之间有何关系？
• RQ3 为何在对抗性激活下，实现次线性遗憾需要网络结构知识？
• RQ4 团覆盖数 $\overline{\chi}$ 是否可用于设计对抗性设置下的最小遗憾策略？
• RQ5 当代理使用基于团的反馈过滤时，$\sqrt{\overline{\chi}T}$ 的遗憾界是否紧致？

主要发现

• 在随机激活下，最优遗憾为 $\mathcal{O}(\sqrt{\alpha T})$，其中 $\alpha$ 为网络的独立数，且该界即使在无感知网络接口下也可实现。
• 在对抗性激活设置中，任何使用无感知网络接口的算法均面临 $\Omega(T)$ 的遗憾，证明若无结构知识则学习不可行。
• 当代理利用团覆盖知识对反馈进行过滤时，遗憾被限制在 $\mathcal{O}(\sqrt{\overline{\chi}T})$，其中 $\overline{\chi}$ 为团覆盖数。
• 通过让同一团内的代理执行相同的更新，该遗憾界得以实现，从而将系统等效为 $\overline{\chi}$ 个独立的 OMD 实例。
• 该遗憾界在常数因子意义下是紧致的，通过基于最大独立集的匹配下界构造得以证明。
• 结果揭示了一个鲜明的二元性：在随机激活下，网络结构对最优遗憾无影响；但在对抗性激活下，网络结构至关重要。