[论文解读] Wireless MapReduce Distributed Computing

Fan Li, Jinyuan Chen+1 more|arXiv (Cornell University)|Feb 3, 2018

Caching and Content Delivery参考文献 39被引用 4

一句话总结

本文提出了一种最优的一次性线性无线MapReduce方案，通过利用编码传输、先验信息消除和迫零技术，在无线干扰网络中最小化通信负载。该方案实现了基本的计算-通信权衡，通信负载为$ \frac{1 - r/K}{2r} $，优于非编码和编码TDMA方案，通过在所有节点上实现同时传输并利用缓存数据消除干扰，显著提升了通信效率。

ABSTRACT

Motivated by mobile edge computing and wireless data centers, we study a wireless distributed computing framework where the distributed nodes exchange information over a wireless interference network. Our framework follows the structure of MapReduce. This framework consists of Map, Shuffle, and Reduce phases, where Map and Reduce are computation phases and Shuffle is a data transmission phase. In our setting, we assume that the transmission is operated over a wireless interference network. We demonstrate that, by duplicating the computation work at a cluster of distributed nodes in the Map phase, one can reduce the amount of transmission load required for the Shuffle phase. In this work, we characterize the fundamental tradeoff between computation load and communication load, under the assumption of one-shot linear schemes. The proposed scheme is based on side information cancellation and zero-forcing, and we prove that it is optimal in terms of computation-communication tradeoff. The proposed scheme outperforms the naive TDMA scheme with single node transmission at a time, as well as the coded TDMA scheme that allows coding across data, in terms of the computation-communication tradeoff.

研究动机与目标

• 解决无线干扰网络中MapReduce的Shuffle阶段高通信延迟问题。
• 刻画无线分布式计算中计算负载（r）与通信负载之间的基本权衡关系。
• 设计一种一次性线性方案，通过利用先验信息和迫零技术优化该权衡。
• 在通信效率方面优于传统的TDMA和编码TDMA方案。

提出的方法

• 采用一次性线性编码方案，将每个中间值编码为一个编码数据包进行传输。
• 通过利用缓存的中间值作为先验信息，在接收端实现干扰消除，从而在存在干扰的情况下解码所需信号。
• 应用迫零预编码技术，将干扰对准非期望接收端，从而实现对所需符号的成功解码。
• 基于接收端集合和文件分配模式设计传输时隙，确保所有所需数据以最少的时间单位被成功传输。
• 通过在接收端集合和文件子集上进行组合优化，推导出通信负载为$ \frac{1 - r/K}{2r} $。
• 通过具体参数（如$ K=5, r=2, N=20 $）的显式构造验证该方案，并确认传输时隙调度的正确性。

实验结果

研究问题

• RQ1 在一次性线性编码假设下，无线MapReduce框架中可实现的最优通信负载是多少？
• RQ2 在全双工无线干扰网络的Shuffle阶段，如何有效管理干扰？
• RQ3 与顺序的TDMA方案相比，是否可以通过所有节点同时传输来降低通信负载？
• RQ4 在此场景下，计算负载与通信负载之间的基本权衡关系是什么？
• RQ5 能否联合利用先验信息和迫零技术以实现最优性能？

主要发现

• 所提方案实现了通信负载$ \frac{1 - r/K}{2r} $，在一次性线性方案假设下为最优。
• 在$ K=3, r=2 $的示例情况下，该方案通信负载降低至1个时间单位，优于非编码TDMA（3个时间单位）和编码TDMA（2个时间单位）。
• 当$ N $较大时，通信负载趋近于$ \frac{1 - r/K}{2r} $，表明具有渐近最优性。
• 通过利用缓存的先验信息消除干扰，该方案实现了全双工、所有节点同时传输。
• 传输时隙数$ T $按$ \frac{NQ(1 - r/K)}{2r} $缩放，验证了推导出的负载表达式。
• 通过$ K=5, Q=5, r=2, \widetilde{N}=20 $的显式方案验证了构造的正确性，显示一致的时隙调度与解码过程。