[论文解读] Coded Federated Computing in Wireless Networks with Straggling Devices and Imperfect CSI

Sukjong Ha, Jingjing Zhang+2 more|arXiv (Cornell University)|Jan 16, 2019

Cooperative Communication and Network Coding参考文献 18被引用 7

一句话总结

本文提出了一种用于无线网络的编码联邦计算框架，通过拉格朗日编码与混合调度策略，联合解决了慢速设备和信道状态信息（CSI）不完善的问题。通过结合编码多播与协作传输及叠加编码，该方案在高信噪比条件下最小化了总延迟（计算与通信延迟之和），表明叠加编码优于传统方案，尤其在CSI不完善时表现更优。

ABSTRACT

Distributed computing platforms typically assume the availability of reliable and dedicated connections among the processors. This work considers an alternative scenario, relevant for wireless data centers and federated learning, in which the distributed processors, operating on generally distinct coded data, are connected via shared wireless channels accessed via full-duplex transmission. The study accounts for both wireless and computing impairments, including interference, imperfect Channel State Information, and straggling processors, and it assumes a Map-Shuffle-Reduce coded computing paradigm. The total latency of the system, obtained as the sum of computing and communication delays, is studied for different shuffling strategies revealing the interplay between distributed computing, coding, and cooperative or coordinated transmission.

研究动机与目标

• 解决无线联邦计算系统中慢速设备与不完善CSI的挑战。
• 将总系统延迟建模为共享无线信道中计算延迟与通信延迟之和。
• 设计一种联合编码与传输策略，以缓解慢速设备效应与无线信道损伤。
• 在真实无线条件下评估不同调度策略（编码多播、协作传输与叠加编码）的性能。
• 量化编码增益、协作增益与CSI精度之间的权衡，以最小化端到端延迟。

提出的方法

• 采用Map-Shuffle-Reduce框架，并使用拉格朗日编码对输入数据进行编码，以缓解慢速设备的影响。
• 采用重复编码以在存在慢速设备时实现稳健的数据恢复。
• 实施三种调度策略：编码多播、通过迫零预编码实现的协作传输，以及适用于不完善CSI的叠加编码。
• 使用高信噪比近似模型通信延迟，其中延迟与信噪比的对数成比例。
• 将计算延迟（依赖于非慢速设备数量）与通信延迟（依赖于调度策略）整合为总延迟指标。
• 优化非慢速设备数量与传输方案，以在不同CSI精度下最小化总延迟。

实验结果

研究问题

• RQ1 不完善的CSI如何影响存在慢速设备的无线联邦计算系统的延迟？
• RQ2 在不完善CSI下，编码多播与协作传输之间最优的权衡是什么，以减少调度延迟？
• RQ3 与传统方案相比，叠加编码在不完善CSI下能多大程度上提升延迟性能？
• RQ4 多变量多项式函数的阶数如何影响调度延迟与总延迟？
• RQ5 在不同CSI精度水平下，使总系统延迟最小化的非慢速设备最优数量是多少？

主要发现

• 基于叠加编码的调度策略在所有非慢速设备数量与CSI精度值下，始终优于编码多播与协作传输。
• 当CSI精度参数 α = 1（完美CSI）时，叠加编码方案的延迟与单次线性预编码相同，证实其在完美CSI下的最优性。
• 当 α = 0（无CSI）时，叠加编码方案退化为编码多播方案，表明其对不同CSI质量的适应能力。
• 当非慢速设备数量 q = 20 时，调度延迟与多项式阶数 d 无关，因为足够多的设备可借助 r₁ = 1 的重复编码实现恢复。
• 总延迟在非慢速设备数量 q 的最优值处最小化，该值随CSI精度与系统参数而变化。
• 当 q = 10 时，调度延迟随多项式阶数 d 增加而上升，这是由于拉格朗日编码中恢复阈值 m* 提高；但当 q = 20 时，由于冗余充足，延迟趋于平稳。