[论文解读] A Communication Efficient Vertical Federated Learning Framework.

Yang Liu, Yan Kang+6 more|arXiv (Cornell University)|Dec 24, 2019

Privacy-Preserving Technologies in Data被引用 59

一句话总结

本文提出 FedBCD，一种通信高效的垂直联邦学习框架，通过利用随机块坐标下降减少训练轮次。通过优化小批量大小、样本大小和本地迭代次数，FedBCD 实现了 O(√T) 轮通信以达到 O(1/√T) 的收敛精度，显著降低了跨组织 AI 训练中的通信开销。

ABSTRACT

One critical challenge for applying today's Artificial Intelligence (AI) technologies to real-world applications is the common existence of data silos across different organizations. Due to legal, privacy and other practical constraints, data from different organizations cannot be easily integrated. Federated learning (FL), especially the vertical FL (VFL), allows multiple parties having different sets of attributes about the same user collaboratively build models while preserving user privacy. However, communication overhead is a principal bottleneck since the existing VFL protocols require per-iteration communications among all parties. In this paper, we propose the Federated Stochastic Block Coordinate Descent (FedBCD) to effectively reduce the communication rounds for VFL. We show that when the batch size, sample size, and the local iterations are selected appropriately, the algorithm requires $\mathcal{O}(\sqrt{T})$ communication rounds to achieve $\mathcal{O}(1/\sqrt{T})$ accuracy. Finally, we demonstrate the performance of FedBCD on several models and datasets, and on a large-scale industrial platform for VFL.

研究动机与目标

• 为解决垂直联邦学习（VFL）中所有参与方在每个训练轮次都必须通信所带来的高通信开销问题。
• 在不损害模型精度的前提下，减少 VFL 中的通信轮次。
• 设计一种可扩展且隐私保护的训练框架，适用于组织间真实的数据孤岛。
• 在真实数据集和工业级平台上验证理论上的通信效率提升。

提出的方法

• 提出联邦随机块坐标下降（FedBCD），一种专为垂直 FL 设计的新颖优化框架。
• 引入块坐标下降更新机制，每轮仅更新部分模型参数，从而减少每轮通信量。
• 采用自适应批处理和本地迭代调度策略，以平衡收敛速度与通信成本。
• 推导理论收敛边界，表明在最优超参数设置下，可实现 O(√T) 通信轮次以达到 O(1/√T) 的精度。
• 将该方法应用于多种模型和数据集，包括大规模工业级部署。
• 在跨参与方通信过程中使用安全聚合和密码学技术以保护用户隐私。

实验结果

研究问题

• RQ1 能否在不牺牲收敛精度的前提下，将垂直联邦学习中的通信轮次减少至标准 O(T) 量级以下？
• RQ2 在 VFL 中，哪些超参数配置（小批量大小、样本大小、本地迭代次数）能实现最优的通信-精度权衡？
• RQ3 所提出的 FedBCD 框架是否在实现跨数据孤岛高效模型训练的同时保持隐私？
• RQ4 FedBCD 在真实世界数据集和工业级平台上的实际表现如何？
• RQ5 理论上的通信复杂度边界是否能在真实世界的 VFL 部署中实现？

主要发现

• FedBCD 实现了 O(√T) 通信轮次以达到 O(1/√T) 的收敛精度，相较于标准 VFL 显著提升了效率。
• 通过最优选择小批量大小、样本大小和本地迭代次数，使理论通信复杂度在实践中得以实现。
• 该框架在多种模型和数据集上均保持了强劲的模型性能，包括复杂的工业级应用场景。
• 实证结果证实，FedBCD 在通信效率方面优于基线 VFL 方法，同时保持了模型精度。
• 该方法在大规模工业平台上表现出良好的可扩展性，证明了其在跨组织 AI 训练中的实际可行性。