[论文解读] Detailed comparison of communication efficiency of split learning and federated learning

Abhishek Singh, Praneeth Vepakomma+2 more|arXiv (Cornell University)|Sep 18, 2019

Privacy-Preserving Technologies in Data被引用 107

一句话总结

本文分析在不同客户端数量、模型大小和数据量下，Split Learning 或 Federated Learning 哪种在通信效率上更具优势，并识别各自擅长的工作区间。

ABSTRACT

We compare communication efficiencies of two compelling distributed machine learning approaches of split learning and federated learning. We show useful settings under which each method outperforms the other in terms of communication efficiency. We consider various practical scenarios of distributed learning setup and juxtapose the two methods under various real-life scenarios. We consider settings of small and large number of clients as well as small models (1M - 6M parameters), large models (10M - 200M parameters) and very large models (1 Billion-100 Billion parameters). We show that increasing number of clients or increasing model size favors split learning setup over the federated while increasing the number of data samples while keeping the number of clients or model size low makes federated learning more communication efficient.

研究动机与目标

• 理解 Split Learning 与 Federated Learning 的通信成本随规模增长的规律
• 刻画客户端数量、模型大小和数据量等因素如何影响通信效率
• 为实际场景提供关于哪种方法在通信方面更高效的指导

提出的方法

• 定义通信效率的度量：训练过程中的每位客户端数据传输量与总传输量
• 推导 Split Learning 在有权重共享与无权重共享情况下的通信成本表达式
• 推导 Federated Learning 的通信成本
• 在模型大小与客户端数量的坐标系中，用双曲线边界比较成本
• 通过用例示意展示各方法在实际情境下的优势区间

实验结果

研究问题

• RQ1 在什么条件下（以客户端数量 K、模型参数大小 N、数据分布 p 表示）Split Learning 的通信效率优于 Federated Learning？
• RQ2 Split Learning 的不同变体（有无客户端权重共享）对通信成本有何影响？
• RQ3 哪些实际情境（如边缘设备、医疗保健、大型机构）能体现两种方法的相对效率？

主要发现

• Split Learning 的通信效率随着客户端数量增加而提升，且对模型大小的扩展具有良好放大性。
• Federated Learning 在每位客户端数据量较大时通信效率更高，尤其是在客户端数量或模型大小较小时。
• 在存在客户端权重共享时，通信开销包含一个 ηN 项，取决于模型大小与 smashed-layer 大小 q 的影响。
• 无客户端权重共享时，Split Learning 在高客户端数或高参数规模下可以超过 Federated Learning 的表现。
• 论文刻画了一个矩形双曲线边界 N = function(p, q, K, η)，将各自占优的区间分离开来。
• 用例图（智能手表、医疗保健、生物样本库）说明各自的优势场景。