[论文解读] Distributed Non-Stochastic Experts

Varun Kanade, Zhenming Liu+1 more|arXiv (Cornell University)|Nov 14, 2012

Advanced Bandit Algorithms Research参考文献 17被引用 14

一句话总结

本文提出了一种新颖的分布式算法 DFPL，用于协调器-节点架构下的非随机专家问题，实现了后悔与通信成本之间的权衡。该算法采用随机化的、标签高效的通信机制，以与 $ C/T $ 成比例的概率将收益向量发送给协调器，从而在任意 $ \epsilon \in (0,1/5) $ 下实现 $ O(\sqrt{k^{5(1+\epsilon)/6}T}) $ 的后悔和 $ O(T/k^{\epsilon}) $ 的通信成本，优于完全通信和无通信的两种极端情况。

ABSTRACT

We consider the online distributed non-stochastic experts problem, where the distributed system consists of one coordinator node that is connected to $k$ sites, and the sites are required to communicate with each other via the coordinator. At each time-step $t$, one of the $k$ site nodes has to pick an expert from the set ${1, ..., n}$, and the same site receives information about payoffs of all experts for that round. The goal of the distributed system is to minimize regret at time horizon $T$, while simultaneously keeping communication to a minimum. The two extreme solutions to this problem are: (i) Full communication: This essentially simulates the non-distributed setting to obtain the optimal $O(\sqrt{\log(n)T})$ regret bound at the cost of $T$ communication. (ii) No communication: Each site runs an independent copy : the regret is $O(\sqrt{log(n)kT})$ and the communication is 0. This paper shows the difficulty of simultaneously achieving regret asymptotically better than $\sqrt{kT}$ and communication better than $T$. We give a novel algorithm that for an oblivious adversary achieves a non-trivial trade-off: regret $O(\sqrt{k^{5(1+ε)/6} T})$ and communication $O(T/k^ε)$, for any value of $ε\in (0, 1/5)$. We also consider a variant of the model, where the coordinator picks the expert. In this model, we show that the label-efficient forecaster of Cesa-Bianchi et al. (2005) already gives us strategy that is near optimal in regret vs communication trade-off.

研究动机与目标

• 解决在盲从敌手模型下，分布式在线学习中通信成本与后悔之间的权衡问题。
• 设计一种分布式算法，其性能优于完全通信（最优后悔，高成本）和无通信（零成本，差后悔）这两种极端情况。
• 建立在协调器预测模型中，后悔与通信之间可实现权衡的理论极限。
• 在合成的非随机序列上，评估所提算法与基线方法（如完全通信、无通信、小批量方法和 HYZ）的性能表现。

提出的方法

• DFPL 算法采用标签高效的通信策略：各节点以概率 $ p \approx C/T $ 将其收益向量转发给协调器，其中 $ C $ 为通信预算。
• 协调器仅使用采样到的收益向量维护并更新累计收益向量，并应用带噪声 $ \sqrt{T} $ 的 Follow the Perturbed Leader (FPL) 算法。
• 在 FPL 框架下进行理论分析，采用线性正则化项 $ r(\mathbf{x}) = \bar{\mathbf{\eta}} \cdot \mathbf{x} $，其中 $ \bar{\mathbf{\eta}} $ 是 $ [0,\eta]^n $ 中的随机向量。
• 通过基于随机采样的方式，仅对具有高收益方差或显著性的消息进行通信，从而最小化通信成本。
• 理论分析表明，期望后悔的量级为 $ O(\sqrt{k^{5(1+\epsilon)/6}T}) $，通信成本为 $ O(T/k^{\epsilon}) $，其中任意 $ \epsilon \in (0,1/5) $。
• 证明了下界：对于使用累计收益报告和 $ \sqrt{T} $ 噪声的 FPL 的一类算法，为实现 $ O(\sqrt{T}) $ 的后悔，必须使用 $ \Omega(T^{1-\epsilon}) $ 的通信量，即使在 $ k=1 $ 时也成立。

实验结果

研究问题

• RQ1 在使用次线性通信的前提下，分布式在线学习系统能否实现渐近优于 $ \sqrt{kT} $ 的后悔？
• RQ2 在协调器预测模型中，通信成本与后悔之间存在何种根本性权衡？
• RQ3 标签高效的通信策略是否能优于随机或周期性通信，在最小化后悔方面表现更优？
• RQ4 在协调器模型中，为实现 $ O(\sqrt{T}) $ 的后悔，是否存在必须支付的通信下界？
• RQ5 在非随机序列上，所提出的 DFPL 算法与现有方法（如小批量和 HYZ）在后悔与通信方面的表现如何比较？

主要发现

• DFPL 算法在任意 $ \epsilon \in (0,1/5) $ 下实现了 $ O(\sqrt{k^{5(1+\epsilon)/6}T}) $ 的后悔和 $ O(T/k^{\epsilon}) $ 的通信成本，体现了后悔与通信之间非平凡的权衡。
• 该算法优于完全通信基线（通信量为 $ T $）和无通信基线（后悔为 $ O\big(\sqrt{kT}\big) $）的性能。
• 建立了下界：任何使用 FPL 与 $ \sqrt{T} $ 噪声并报告累计收益的算法，为实现 $ O(\sqrt{T}) $ 的后悔，必须使用 $ \Omega(T^{1-\epsilon}) $ 的通信量，即使在 $ k=1 $ 时也成立。
• 在锯齿形和马尔可夫链序列上的仿真结果表明，DFPL 在后悔-通信权衡方面优于小批量和 HYZ 算法。
• 研究表明，Cesa-Bianchi 等人（2005）提出的标签高效预测器在协调器预测模型中近乎最优，实现了接近最优的后悔-通信权衡。
• 结果证实，通过适当的采样概率 $ p \approx C/T $ 实现的随机标签高效通信，可在相同通信预算下实现接近最优的后悔量级。