[论文解读] FedVS: Straggler-Resilient and Privacy-Preserving Vertical Federated Learning for Split Models

Songze Li, Duanyi Yao+1 more|arXiv (Cornell University)|Apr 26, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

FedVS 是一种同步的、抗延迟客户端（straggler-resilient）且保护隐私的垂直联邦学习框架，适用于拆分模型。它利用秘密共享和多项式插值技术，可无损地从非延迟客户端重建聚合嵌入表示，同时对好奇服务器及最多 T 个共谋客户端提供信息论级别的隐私保护。与基线方法相比，FedVS 在不引入差分隐私或延迟客户端导致的性能损失的前提下，实现了更快的收敛速度和更高的准确率。

ABSTRACT

In a vertical federated learning (VFL) system consisting of a central server and many distributed clients, the training data are vertically partitioned such that different features are privately stored on different clients. The problem of split VFL is to train a model split between the server and the clients. This paper aims to address two major challenges in split VFL: 1) performance degradation due to straggling clients during training; and 2) data and model privacy leakage from clients' uploaded data embeddings. We propose FedVS to simultaneously address these two challenges. The key idea of FedVS is to design secret sharing schemes for the local data and models, such that information-theoretical privacy against colluding clients and curious server is guaranteed, and the aggregation of all clients' embeddings is reconstructed losslessly, via decrypting computation shares from the non-straggling clients. Extensive experiments on various types of VFL datasets (including tabular, CV, and multi-view) demonstrate the universal advantages of FedVS in straggler mitigation and privacy protection over baseline protocols.

研究动机与目标

• 解决拆分型垂直联邦学习（VFL）系统中由延迟客户端引起的训练延迟与隐私泄露双重挑战。
• 设计一种同步 VFL 协议，即使存在未知延迟客户端，也能保持模型收敛与准确率。
• 对好奇服务器及最多 T 个共谋客户端提供信息论级别的隐私保障。
• 仅利用非延迟客户端的子集，实现客户端嵌入表示的无损聚合，确保无性能下降。
• 在不依赖差分隐私或同态加密（二者均会带来准确率损失）的前提下，同时实现高隐私与高效率。

提出的方法

• 在客户端之间对本地数据与模型参数进行秘密共享，以建立冗余并保障隐私。
• 采用拉格朗日编码计算（Lagrange Coded Computing, LCC）提升嵌入聚合过程中的计算与通信效率。
• 使用多项式网络作为本地模型，通过多项式插值实现嵌入和的无损重构。
• 利用多项式插值的阈值特性，仅需非延迟客户端的子集即可完成聚合。
• 采用平均作为聚合方法，确保服务器仅能获知嵌入的总和，而无法获知单个客户端的嵌入值。
• 设计分区参数 K，基于系统延迟模式平衡延迟容忍度与本地计算成本。

实验结果

研究问题

• RQ1 能否设计一种同步的拆分型 VFL 协议，既具备抗延迟客户端能力，又能对好奇服务器及共谋客户端提供可证明的隐私保护？
• RQ2 如何仅从非延迟客户端中无损重构嵌入聚合，同时不泄露单个嵌入信息？
• RQ3 在基于秘密共享的 VFL 框架中，隐私强度（T）与延迟容忍度之间的权衡关系如何？
• RQ4 在不同延迟客户端延迟模式下，分区参数 K 的选择如何影响收敛速度与系统效率？
• RQ5 基于秘密共享的方法是否能在准确率与延迟容忍度方面超越差分隐私与同态加密？

主要发现

• 在所有评估的数据集（表格、计算机视觉、多视角）上，FedVS 均实现了最快收敛速度与最高测试准确率，全面优于所有基线方法。
• 在计算机视觉与多视角数据集上，FedVS 在每个训练步骤的测试准确率均持续优于 Wait、Ignore、VAFL 与 Wait-DP。
• 在表格数据集上，FedVS 在初始收敛后超越 VAFL 与 Ignore，展现出更优的长期性能。
• Wait-DP 因加入差分隐私噪声导致准确率下降，而 FedVS 在无性能损失的前提下保持完整准确率。
• 当延迟客户端的延迟主导本地计算时间时，采用更大的分区参数 K 可最小化本地计算负载。
• 当本地计算时间占主导时，选择更小的 K 可容忍更多延迟客户端，体现出根据系统状态自适应优化的能力。