[论文解读] A Communication Efficient Collaborative Learning Framework for Distributed Features

Yang Liu, Yan Kang+6 more|arXiv (Cornell University)|Dec 24, 2019

Privacy-Preserving Technologies in Data参考文献 37被引用 57

一句话总结

论文提出 FedBCD，一种在纵向分割特征的协同训练中具有通信效率的框架，通过在同步之前进行多次本地更新，在 O(1/√T) 的精度和 O(√T) 的通信轮次内完成。

ABSTRACT

We introduce a collaborative learning framework allowing multiple parties having different sets of attributes about the same user to jointly build models without exposing their raw data or model parameters. In particular, we propose a Federated Stochastic Block Coordinate Descent (FedBCD) algorithm, in which each party conducts multiple local updates before each communication to effectively reduce the number of communication rounds among parties, a principal bottleneck for collaborative learning problems. We analyze theoretically the impact of the number of local updates and show that when the batch size, sample size, and the local iterations are selected appropriately, within $T$ iterations, the algorithm performs $\mathcal{O}(\sqrt{T})$ communication rounds and achieves some $\mathcal{O}(1/\sqrt{T})$ accuracy (measured by the average of the gradient norm squared). The approach is supported by our empirical evaluations on a variety of tasks and datasets, demonstrating advantages over stochastic gradient descent (SGD) approaches.

研究动机与目标

• 在数据孤岛中推动跨方学习，参与方为同一用户持有不同特征且不共享原始数据或模型。
• 为纵向分割数据开发一种高效通信的算法，以最小化各参与方之间的通信。
• 为所提的带本地更新的 FedBCD 提供理论收敛保证。
• 在多样的数据集和模型上展示实际有效性。
• 探索对联邦迁移学习及安全性考量的扩展。

提出的方法

• 引入联邦随机块坐标下降（FedBCD），在通信时各参与方每个样本仅共享一个数值。
• 在通信之间允许多次本地更新（Q）以减少轮次，形成并行的 FedBCD-p 与串行的 FedBCD-s 变体。
• 使用局部信息 H 和部分梯度推导梯度更新：g_k(Θ;S) = ∇_k f(H_{-k}, θ_k; S) + λ∇γ(θ_k)。
• 给出收敛性分析，表明在合适的批量大小、本地迭代次数和学习率下，该方法在 O(√T) 次通信轮次内达到 O(1/√T) 的精度。
• 给出一个带近端增强的变体 FedPBCD-p，以在较大的 Q 下提高稳定性。
• 讨论安全性注意事项，表明在所提出的泄漏模型下数据隐私得到保护。

实验结果

研究问题

• RQ1 在纵向分割的协作学习中，是否可以通过多次本地更新在通信前减少总的通信轮次？
• RQ2 在使用部分梯度的陈旧信息时，FedBCD 的收敛保证是什么？
• RQ3 在真实数据集上，平行和串行本地更新变体的实际表现有何差异？
• RQ4 当本地更新较大时，近端项是否能改善收敛？
• RQ5 在联邦迁移学习和隐私保护设置下，该框架的性能如何？

主要发现

• 在适当设置下，FedBCD 以 O(√T) 次通信轮次实现 O(1/√T) 的收敛速率。
• 在 MIMIC-III 和 MNIST-CNN 的实验中，增大本地更新 Q 降低了通信轮次，收敛性与基线 SGD 相近。
• FedBCD-p（并行）和 FedBCD-s（串行）显示出相近的收敛性，但由于串行更新，FedBCD-s 的墙钟时间更高。
• 近端 FedPBCD-p 在较大 Q 下稳定收敛，在大 Q 区间可以达到比 FedBCD-p 更高的精度。
• 将 FedBCD 应用于联邦迁移学习任务（NUS-FTL）显示出在减少通信的同时的有效性能。
• 在支持同态加密（HE）的设置下，增大 Q 减少了通信轮次但增加了计算量，同时带来显著的总体时间节省。