[论文解读] A Vertical Federated Learning Framework for Horizontally Partitioned Labels

Wen‐Sheng Xia, Ying Li+3 more|arXiv (Cornell University)|Jun 18, 2021

Privacy-Preserving Technologies in Data参考文献 32被引用 11

一句话总结

本文提出了一种新型框架——级联纵向联邦学习（CVFL），通过采用级联聚合机制和一种新的优化目标，实现了在水平划分标签（即无任何一方持有全部标签）场景下的隐私保护深度神经网络训练。该方法在资源受限环境下性能接近集中式训练，并显著缓解了延迟者问题。

ABSTRACT

Vertical federated learning is a collaborative machine learning framework to train deep leaning models on vertically partitioned data with privacy-preservation. It attracts much attention both from academia and industry. Unfortunately, applying most existing vertical federated learning methods in real-world applications still faces two daunting challenges. First, most existing vertical federated learning methods have a strong assumption that at least one party holds the complete set of labels of all data samples, while this assumption is not satisfied in many practical scenarios, where labels are horizontally partitioned and the parties only hold partial labels. Existing vertical federated learning methods can only utilize partial labels, which may lead to inadequate model update in end-to-end backpropagation. Second, computational and communication resources vary in parties. Some parties with limited computational and communication resources will become the stragglers and slow down the convergence of training. Such straggler problem will be exaggerated in the scenarios of horizontally partitioned labels in vertical federated learning. To address these challenges, we propose a novel vertical federated learning framework named Cascade Vertical Federated Learning (CVFL) to fully utilize all horizontally partitioned labels to train neural networks with privacy-preservation. To mitigate the straggler problem, we design a novel optimization objective which can increase straggler's contribution to the trained models. We conduct a series of qualitative experiments to rigorously verify the effectiveness of CVFL. It is demonstrated that CVFL can achieve comparable performance (e.g., accuracy for classification tasks) with centralized training. The new optimization objective can further mitigate the straggler problem comparing with only using the asynchronous aggregation mechanism during training.

研究动机与目标

• 解决现有纵向联邦学习方法的局限性，即要求至少一方持有全部标签，而这一条件在现实场景中往往不可行。
• 克服在标签水平划分时，因端到端反向传播中仅部分标签被利用而导致的性能下降问题。
• 缓解纵向联邦学习中的延迟者问题，特别是在各参与方可计算与通信资源异构的情况下。
• 设计一种训练框架，充分利用各方可用的全部标签，同时保护数据隐私。

提出的方法

• 提出一种级联聚合机制，使各方仅使用本地可用的标签即可参与模型更新，而无需全局标签可用。
• 提出一种新型优化目标，通过根据本地数据质量和可用性动态调整其梯度更新，从而提升延迟者参与方的贡献度。
• 采用纵向联邦学习架构，各方通过特征级对齐与安全聚合协作训练共享的深度神经网络。
• 使用安全聚合协议，确保原始数据与标签不会在各方之间共享，从而保护隐私。
• 设计一种训练流水线，交替进行本地模型更新与全局模型聚合，并引入对延迟者的感知优化以提升收敛性。
• 采用异步聚合与自适应加权机制，降低计算或通信资源较低的慢速参与方对整体训练速度与准确率的影响。

实验结果

研究问题

• RQ1 当标签在各方之间水平划分时，是否可以设计一种纵向联邦学习框架，有效训练深度神经网络，且无需任何一方持有全部标签？
• RQ2 当各方计算与通信能力不同时，如何在纵向联邦学习中缓解延迟者问题？
• RQ3 在标签覆盖不完整的情况下，何种优化目标可增强低资源或慢速参与方在联邦学习中的贡献？
• RQ4 在水平标签划分下，隐私保护的联邦学习框架在多大程度上可实现与集中式训练相当的性能？

主要发现

• CVFL 实现了与集中式训练相当的分类准确率，表明即使在标签水平划分下，通过充分利用各方的全部标签，仍可实现高性能模型学习。
• 所提出的优化目标显著提升了收敛速度与模型准确率，相较于仅使用异步聚合的方法，尤其在存在延迟者的情况下优势明显。
• 该框架通过自适应梯度加权机制，有效提升了低资源参与方的有效贡献，从而缓解了延迟者问题。
• 实验结果表明，即使部分参与方计算或通信资源有限，CVFL 仍能保持高性能，且在相同条件下优于基线方法。