[论文解读] A Survey of Coded Distributed Computing

Jer Shyuan Ng, Wei Yang Bryan Lim+6 more|arXiv (Cornell University)|Aug 20, 2020

Cooperative Communication and Network Coding参考文献 225被引用 22

一句话总结

本综述将编码分布式计算（CDC）作为减少分布式计算系统中通信开销和缓解慢启动者（straggler）效应的解决方案。通过将编码理论与MapReduce等分布式框架相结合，CDC可最小化数据重分布（data shuffling），加速计算过程，在实现显著降低通信负载和延迟的同时，支持容错、隐私保护和安全性。

ABSTRACT

Distributed computing has become a common approach for large-scale computation of tasks due to benefits such as high reliability, scalability, computation speed, and costeffectiveness. However, distributed computing faces critical issues related to communication load and straggler effects. In particular, computing nodes need to exchange intermediate results with each other in order to calculate the final result, and this significantly increases communication overheads. Furthermore, a distributed computing network may include straggling nodes that run intermittently slower. This results in a longer overall time needed to execute the computation tasks, thereby limiting the performance of distributed computing. To address these issues, coded distributed computing (CDC), i.e., a combination of coding theoretic techniques and distributed computing, has been recently proposed as a promising solution. Coding theoretic techniques have proved effective in WiFi and cellular systems to deal with channel noise. Therefore, CDC may significantly reduce communication load, alleviate the effects of stragglers, provide fault-tolerance, privacy and security. In this survey, we first introduce the fundamentals of CDC, followed by basic CDC schemes. Then, we review and analyze a number of CDC approaches proposed to reduce the communication costs, mitigate the straggler effects, and guarantee privacy and security. Furthermore, we present and discuss applications of CDC in modern computer networks. Finally, we highlight important challenges and promising research directions related to CDC

研究动机与目标

• 解决分布式计算系统中因通信开销过高和慢启动者效应导致的性能瓶颈问题。
• 调研用于降低通信负载并提升分布式框架容错能力的编码技术。
• 研究CDC中的隐私与安全机制，以实现在不可信节点间的安全数据处理。
• 探索CDC在现代网络（如边缘计算、网络功能虚拟化（NFV）和无人机（UAVs））中的实际应用。
• 识别可扩展、低复杂度CDC实现的开放挑战与未来研究方向。

提出的方法

• 将编码理论（如MDS码和放置-交付数组）集成到MapReduce等分布式计算框架中，以减少数据重分布。
• 采用编码计算技术，使计算节点在编码数据上执行函数计算，通过冗余机制实现对慢启动者的容错恢复。
• 设计安全编码方案，通过确保不可信计算节点无法推断输入或输出数据，从而保护数据隐私。
• 提出对无线或不稳定网络中不完整信道状态信息（CSI）和缺失数据条目具有鲁棒性的编码方案。
• 利用信息论模型分析通信负载、计算延迟与存储成本之间的权衡关系。
• 将CDC扩展至非MapReduce模型（如Spark、Dryad和CIEL），以支持迭代计算和非线性计算任务。

实验结果

研究问题

• RQ1 如何利用编码技术最小化分布式计算系统中的通信负载？
• RQ2 编码在多大程度上可减轻慢启动者节点对整体计算延迟的影响？
• RQ3 CDC系统中通信负载、计算延迟与存储成本之间的权衡关系是什么？
• RQ4 如何通过编码方案在分布式计算中保障隐私与安全性？
• RQ5 在非MapReduce框架及边缘计算、无人机等实际应用中，CDC面临哪些挑战与机遇？

主要发现

• 在Hadoop集群中，数据重分布占总作业执行时间的高达33%，凸显了降低通信开销的迫切需求。
• 在异构的Amazon EC2集群中，TeraSort和Self-Join工作负载的Shuffle阶段消耗了65–70%的执行时间。
• 通过利用编码多播和MDS码，CDC方案可显著降低通信负载，提升数据重分布效率。
• 编码计算通过冗余机制，即使部分计算节点运行缓慢，也能完成任务，从而有效缓解慢启动者效应并降低整体延迟。
• 通信负载与计算延迟之间存在权衡关系，最优CDC设计需在两者之间实现平衡。
• 未来在边缘计算、无人机和车载网络中的CDC应用，需具备对移动性和不稳定信道的鲁棒性，这推动了新型编码设计的发展。