[论文解读] A Scalable Framework for Wireless Distributed Computing

Songze Li, Qian Yu+2 more|arXiv (Cornell University)|Aug 19, 2016

Caching and Content Delivery参考文献 26被引用 3

一句话总结

该论文提出了一种可扩展的无线分布式计算框架，通过使用编码数据重排和重复数据集放置，消除了通信负载随网络规模增长的问题。通过在用户和接入点处同时利用多播和编码增益，该方案使上行链路和下行链路重排带宽减少为用户数的线性因子，在集中式和去中心化设置下均达到最优性能。

ABSTRACT

We consider a wireless distributed computing system, in which multiple mobile users, connected wirelessly through an access point, collaborate to perform a computation task. In particular, users communicate with each other via the access point to exchange their locally computed intermediate computation results, which is known as data shuffling. We propose a scalable framework for this system, in which the required communication bandwidth for data shuffling does not increase with the number of users in the network. The key idea is to utilize a particular repetitive pattern of placing the dataset (thus a particular repetitive pattern of intermediate computations), in order to provide coding opportunities at both the users and the access point, which reduce the required uplink communication bandwidth from users to access point and the downlink communication bandwidth from access point to users by factors that grow linearly with the number of users. We also demonstrate that the proposed dataset placement and coded shuffling schemes are optimal (i.e., achieve the minimum required shuffling load) for both a centralized setting and a decentralized setting, by developing tight information-theoretic lower bounds.

研究动机与目标

• 为解决无线分布式计算中的可扩展性挑战，其中通信开销通常随用户数量增加而增长。
• 通过在无线介质中利用编码和多播，减少分布式计算中关键的重排负载。
• 设计一种框架，使通信成本在参与用户数量变化时保持恒定。
• 通过信息论下界建立，证明所提方案在集中式和去中心化设置下的最优性。

提出的方法

• 该框架在用户之间采用重复数据集放置策略，以创建结构化的冗余信息，为编码提供机会。
• 在用户和接入点处均应用编码技术，以实现多播，使上行链路和下行链路通信量减少为与用户数量成比例的因子。
• 该方案利用无线信道固有的多播特性，同时向多个用户传输有用信号。
• 提出了集中式和去中心化两种数据集放置策略，均能实现最小通信负载的编码重排。
• 通过信息论界对框架进行分析，证明了在两种设置下重排负载的最优性。
• 该方法通过适应无线环境的约束与机遇，将先前的有线网络编码分布式计算工作扩展至无线环境。

实验结果

研究问题

• RQ1 无线分布式计算系统能否实现与用户数量无关的恒定重排负载？
• RQ2 无线网络中的编码与多播如何减少数据重排中的通信开销？
• RQ3 无线分布式计算在集中式和去中心化设置下的最优重排负载是多少？
• RQ4 重复数据集放置能否在无线环境中实现可扩展的编码增益？
• RQ5 信息论下界如何刻画无线分布式系统中重排的理论极限？

主要发现

• 所提框架实现了与用户数量无关的重排负载，具备完全可扩展性。
• 由于用户和接入点处的编码与多播增益，通信带宽减少了与用户数量成线性比例的因子。
• 该方案在集中式和去中心化设置下均达到最优，已通过紧致的信息论下界证明。
• 重复数据集放置为编码提供了机会，从而实现了中间计算结果的高效多播。
• 该框架通过利用介质的多播特性，在无线约束下仍能保持性能。
• 结果表明，通过最小通信开销实现可扩展无线分布式计算在理论上是可行的。