[论文解读] Distributed Learning: Sequential Decision Making in Resource-Constrained Environments

Udari Madhushani, Naomi Ehrich Leonard|arXiv (Cornell University)|Apr 13, 2020

Advanced Bandit Algorithms Research参考文献 18被引用 4

一句话总结

该论文提出了一种用于分布式多臂赌博机学习的局部通信协议，仅在探索动作期间传输信息，实现了与全通信相同的性能阶，同时将通信成本降低至O(log T)。该协议通过最小化数据传输，在资源受限环境中实现了成本效益高且可扩展的学习。

ABSTRACT

We study cost-effective communication strategies that can be used to improve the performance of distributed learning systems in resource-constrained environments. For distributed learning in sequential decision making, we propose a new cost-effective partial communication protocol. We illustrate that with this protocol the group obtains the same order of performance that it obtains with full communication. Moreover, we prove that under the proposed partial communication protocol the communication cost is $O(\log T)$, where $T$ is the time horizon of the decision-making process. This improves significantly on protocols with full communication, which incur a communication cost that is $O(T)$. We validate our theoretical results using numerical simulations.

研究动机与目标

• 为全通信不切实际的资源受限环境中分布式学习开发成本高效的通信策略。
• 在不降低群体性能的前提下，减少顺序决策系统中的通信开销。
• 设计一种局部通信协议，在最小化数据传输的同时保持与全通信相当的性能。
• 分析并验证一种仅在探索动作期间共享信息的协议，利用基于利用和基于探索的通信区分。
• 证明仅基于探索的通信可实现与全通信相同的性能阶，同时大幅降低通信成本。

提出的方法

• 提出一种局部通信协议，仅在代理执行探索动作时才进行信息共享，定义为对次优或不确定选项的操作。
• 使用多臂赌博机框架对随机奖励下的顺序决策进行建模，代理选择动作以最大化累积奖励。
• 将通信成本定义为交换的消息总数，全通信成本为O(T)，而所提协议实现O(log T)的期望成本。
• 引入采样规则（定义1），指导代理在探索与利用之间取得平衡，仅在探索期间触发通信。
• 采用期望累积遗憾作为性能度量，最小化遗憾即对应最大化群体奖励。
• 通过数值仿真验证协议，设置100个代理、10个选项和1000个时间步，奖励分布为高斯分布，通信图为完全图。

实验结果

研究问题

• RQ1 局部通信协议是否能在显著降低通信成本的同时，实现与全通信相同的性能阶？
• RQ2 仅在探索动作期间共享信息的协议的通信成本是多少？其随时间范围T的扩展规律如何？
• RQ3 在性能和通信成本方面，基于探索的通信与全通信和基于利用的通信相比有何差异？
• RQ4 将通信限制在探索动作是否能在减少数据传输的同时保持群体性能？
• RQ5 仅依赖基于探索的共享的通信协议是否能在资源受限的分布式赌博机设置中保持高性能？

主要发现

• 所提出的基于探索的通信协议实现了与全通信相同的性能阶，其期望累积遗憾保持有界，且与全通信情况相当。
• 所提协议下的期望通信成本为O(log T)，显著优于全通信的O(T)成本。
• 数值仿真表明，基于探索的通信使每个代理的通信成本相比全通信降低了数量级，同时保持了近乎相同的性能。
• 基于利用的通信和无通信均导致显著更差的性能，其中基于利用的通信成本接近全通信。
• 该协议表明，仅在探索期间共享信息已足够实现高群体性能，验证了理论上的成本-性能权衡。
• 结果证实，仅在探索期间通信即可实现高效的信息共享，使该协议在长时程、资源受限的学习系统中具有实际可行性。