[论文解读] Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM

Chulin Xie, Pin‐Yu Chen+4 more|arXiv (Cornell University)|Jul 20, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出VIM，一种具有多头结构的纵向联邦学习框架，采用ADMM方法实现高效、低通信量的训练，允许客户端执行多次本地更新。通过用户级差分隐私实现更快的收敛速度和更高的隐私保护水平，并通过学习得到的头权重揭示客户端的重要性。

ABSTRACT

Federated learning (FL) enables distributed resource-constrained devices to jointly train shared models while keeping the training data local for privacy purposes. Vertical FL (VFL), which allows each client to collect partial features, has attracted intensive research efforts recently. We identified the main challenges that existing VFL frameworks are facing: the server needs to communicate gradients with the clients for each training step, incurring high communication cost that leads to rapid consumption of privacy budgets. To address these challenges, in this paper, we introduce a VFL framework with multiple heads (VIM), which takes the separate contribution of each client into account, and enables an efficient decomposition of the VFL optimization objective to sub-objectives that can be iteratively tackled by the server and the clients on their own. In particular, we propose an Alternating Direction Method of Multipliers (ADMM)-based method to solve our optimization problem, which allows clients to conduct multiple local updates before communication, and thus reduces the communication cost and leads to better performance under differential privacy (DP). We provide the user-level DP mechanism for our framework to protect user privacy. Moreover, we show that a byproduct of VIM is that the weights of learned heads reflect the importance of local clients. We conduct extensive evaluations and show that on four vertical FL datasets, VIM achieves significantly higher performance and faster convergence compared with the state-of-the-art. We also explicitly evaluate the importance of local clients and show that VIM enables functionalities such as client-level explanation and client denoising. We hope this work will shed light on a new way of effective VFL training and understanding.

研究动机与目标

• 解决纵向联邦学习（VFL）中因频繁交换梯度而导致通信成本过高的问题，该问题会迅速耗尽隐私预算。
• 在VFL中每轮通信支持多次本地更新，以减少通信频率并提高效率。
• 为模型和标签数据提供形式化的收敛性保证和用户级差分隐私（DP）保障。
• 通过学习客户端重要性权重实现客户端级别的可解释性，支持客户端去噪和摘要等功能。
• 支持模型分割与非模型分割的VFL设置，并提供统一的框架。

提出的方法

• 提出VIM，一种具有多个线性头的VFL框架，每个客户端对应一个头，每个头用于建模其本地特征的贡献。
• 使用ADMM将全局优化问题分解为客户端特定的子问题，通过ADMM变量协调迭代更新。
• 设计VIMADMM（支持模型分割）和VIMADMM-J（不支持模型分割），通过基于ADMM的优化与本地更新支持两种设置。
• 通过在通信前对本地模型输出进行裁剪和扰动，引入用户级差分隐私，并提供正式的DP保障证明。
• 通过ALIBI集成标签差分隐私，保护服务器持有的标签，确保端到端隐私保护。
• 利用客户端特定头权重的范数作为客户端重要性的代理指标，支持客户端级别的分析。

实验结果

研究问题

• RQ1 基于ADMM的优化是否能在保持模型性能的同时降低VFL中的通信成本？
• RQ2 所提出的框架在用户级差分隐私下的表现如何？其隐私预算消耗情况如何？
• RQ3 VIM中学习到的头权重是否能真实反映客户端在特征质量与贡献方面的实际重要性？
• RQ4 VIM在支持客户端级别功能（如去噪、摘要和解释）方面的能力有多强？
• RQ5 在多种数据集上，VIM与当前最先进的VFL方法相比，在收敛速度和准确率方面表现如何？

主要发现

• 在四个VFL基准数据集（MNIST、CIFAR、NUS-WIDE和ModelNet40）上，VIMADMM相比SOTA方法实现了显著更快的收敛速度和更高的准确率。
• 在MNIST上，仅使用最重要的50%客户端（基于头权重范数）进行训练，测试准确率下降不足1%；而仅使用20%的重要客户端，仍可达到超过88%的准确率。
• 使用重要性最低的50%客户端训练的模型在MNIST上仅达到78.11%的准确率，证实了通过头权重进行客户端选择的有效性。
• 扰动高权重客户端的特征会比扰动低权重客户端导致更大的测试准确率下降，验证了头权重确实反映了客户端的重要性。
• VIMADMM在训练过程中成功检测并降低噪声客户端的影响，表现为噪声客户端的头权重相比干净客户端明显减小。
• 该框架支持客户端去噪：即使在包含噪声客户端的情况下，模型仍能比基线方法更快收敛并取得更高准确率，表明对数据质量差异具有鲁棒性。