[论文解读] Projection-free Distributed Online Learning with Sublinear Communication Complexity

Yuanyu Wan, Guanghui Wang+2 more|arXiv (Cornell University)|Mar 20, 2021

Advanced Bandit Algorithms Research被引用 7

一句话总结

该论文提出 D-BOCG，一种无投影的分布式在线学习算法，通过延迟更新机制和重新定义的代理损失函数，将凸损失的通信复杂度降低至 O(√T)，强凸损失的通信复杂度降低至 O(T^{1/3}(log T)^{2/3})，同时分别保持最优的遗憾界 O(T^{3/4}) 和 O(T^{2/3}(log T)^{1/3})。

ABSTRACT

To deal with complicated constraints via locally light computations in distributed online learning, a recent study has presented a projection-free algorithm called distributed online conditional gradient (D-OCG), and achieved an $O(T^{3/4})$ regret bound for convex losses, where $T$ is the number of total rounds. However, it requires $T$ communication rounds, and cannot utilize the strong convexity of losses. In this paper, we propose an improved variant of D-OCG, namely D-BOCG, which can attain the same $O(T^{3/4})$ regret bound with only $O(\sqrt{T})$ communication rounds for convex losses, and a better regret bound of $O(T^{2/3}(\log T)^{1/3})$ with fewer $O(T^{1/3}(\log T)^{2/3})$ communication rounds for strongly convex losses. The key idea is to adopt a delayed update mechanism that reduces the communication complexity, and redefine the surrogate loss function in D-OCG for exploiting the strong convexity. Furthermore, we provide lower bounds to demonstrate that the $O(\sqrt{T})$ communication rounds required by D-BOCG are optimal (in terms of $T$) for achieving the $O(T^{3/4})$ regret with convex losses, and the $O(T^{1/3}(\log T)^{2/3})$ communication rounds required by D-BOCG are near-optimal (in terms of $T$) for achieving the $O(T^{2/3}(\log T)^{1/3})$ regret with strongly convex losses up to polylogarithmic factors. Finally, to handle the more challenging bandit setting, in which only the loss value is available, we incorporate the classical one-point gradient estimator into D-BOCG, and obtain similar theoretical guarantees.

研究动机与目标

• 将分布式在线条件梯度（D-OCG）的通信复杂度从 T 轮减少至 T 的次线性规模，同时保持遗憾性能。
• 在分布式在线学习中利用损失函数的强凸性，以超越 D-OCG 的 O(T^{3/4}) 遗憾界。
• 设计一种通信高效的算法，仅通过线性优化步骤实现无投影更新。
• 建立理论下界，以证明所提出的通信复杂度在凸和强凸设置下均为最优。
• 通过使用单点梯度估计器，将框架扩展至 bandit 设置，同时保持类似的理论保证。

提出的方法

• 引入一种延迟更新机制，将 T 轮划分为 B 个块，将通信次数减少至 B 轮而非 T 轮。
• 用更具一般性的形式替换 D-OCG 中的原始代理损失，以实现对损失函数强凸性的利用。
• 采用分块更新策略，其中本地学习器每个块仅通信一次，从而最小化通信频率。
• 使用单点梯度估计器将方法扩展至 bandit 设置，其中仅能观测到损失值。
• 在 bandit 变体中应用鞅差序列和伯恩斯坦型不等式，以界定向量估计误差。
• 通过分析分块平均梯度的累积误差和收敛性，推导出遗憾和通信复杂度的界。

实验结果

研究问题

• RQ1 D-OCG 的通信复杂度能否从 O(T) 降低至 T 的次线性规模，而不会降低遗憾性能？
• RQ2 在分布式在线学习中能否利用损失函数的强凸性，以获得优于 O(T^{3/4}) 的遗憾界？
• RQ3 对于凸损失，所提出的 O(√T) 通信复杂度在 T 的意义上是否最优？
• RQ4 对于强凸损失，所提出的 O(T^{1/3}(log T)^{2/3}) 通信复杂度在 T 的意义上是否近乎最优（至多多对数因子）？
• RQ5 该框架能否扩展至仅依赖损失反馈的 bandit 设置，同时保持类似的遗憾和通信保证？

主要发现

• D-BOCG 在凸损失下实现了 O(T^{3/4}) 的遗憾界，且仅需 O(√T) 次通信轮次，显著降低了 D-OCG 中的 T 次通信。
• 对于强凸损失，D-BOCG 实现了更紧的遗憾界 O(T^{2/3}(log T)^{1/3})，通信轮次为 O(T^{1/3}(log T)^{2/3})。
• 凸损失下 O(√T) 的通信复杂度在 T 的意义上被证明是近似最优的（至多常数因子）。
• 强凸损失下 O(T^{1/3}(log T)^{2/3}) 的通信复杂度在 T 的意义上近乎最优（至多多对数因子）。
• D-BOCG 的 bandit 扩展通过单点梯度估计器，保持了类似的遗憾和通信复杂度保证。
• 理论分析证实，延迟更新机制和重新定义的代理损失函数是实现更高通信效率和更优遗憾界的关键。