[论文解读] Achieving Model Fairness in Vertical Federated Learning

Changxin Liu, Zhenan Fan+5 more|arXiv (Cornell University)|Sep 17, 2021

Privacy-Preserving Technologies in Data参考文献 38被引用 12

一句话总结

本文提出了一种公平的垂直联邦学习框架，解决了在非重叠特征设置下的模型公平性问题，同时保护数据隐私。该方法将公平性建模为一个约束型极小-极大优化问题，通过一种具有隐私保护通信的异步对偶上升算法求解，并证明了在 O(δ⁻⁴) 次通信轮次内收敛至 δ-平稳点，实验证明其在基准数据集上实现了最先进的公平性-准确率权衡。

ABSTRACT

Vertical federated learning (VFL) has attracted greater and greater interest since it enables multiple parties possessing non-overlapping features to strengthen their machine learning models without disclosing their private data and model parameters. Similar to other machine learning algorithms, VFL faces demands and challenges of fairness, i.e., the learned model may be unfairly discriminatory over some groups with sensitive attributes. To tackle this problem, we propose a fair VFL framework in this work. First, we systematically formulate the problem of training fair models in VFL, where the learning task is modelled as a constrained optimization problem. To solve it in a federated and privacy-preserving manner, we consider the equivalent dual form of the problem and develop an asynchronous gradient coordinate-descent ascent algorithm, where some active data parties perform multiple parallelized local updates per communication round to effectively reduce the number of communication rounds. The messages that the server sends to passive parties are deliberately designed such that the information necessary for local updates is released without intruding on the privacy of data and sensitive attributes. We rigorously study the convergence of the algorithm when applied to general nonconvex-concave min-max problems. We prove that the algorithm finds a $δ$-stationary point of the dual objective in $\mathcal{O}(δ^{-4})$ communication rounds under mild conditions. Finally, the extensive experiments on three benchmark datasets demonstrate the superior performance of our method in training fair models.

研究动机与目标

• 解决在具有敏感属性群体可能遭受歧视的垂直联邦学习（VFL）中的公平性问题。
• 设计一种联邦学习框架，确保在非重叠特征参与方之间实现公平性的同时保护数据隐私。
• 通过在每轮通信中允许多次本地更新，以异步、隐私保护的方式减少 VFL 中的通信轮次。
• 在较弱条件下，正式证明所提出算法收敛至 δ-平稳点。
• 通过在真实世界基准数据集上的实证验证，证明该方法在公平性和准确性方面的优越性。

提出的方法

• 本文将公平 VFL 建模为非凸-约束优化问题，随后将其转化为等价的对偶形式以实现分布式求解。
• 提出一种异步梯度坐标-下降-上升算法，允许活跃方在每轮通信中执行多次本地更新。
• 服务器向被动方发送掩码消息，仅释放本地更新所需的必要信息，而不暴露原始数据或敏感属性。
• 该算法采用自适应步长和动量项以确保收敛，其收敛性分析基于非凸-凹极小-极大优化理论。
• 关键组件包括对偶变量更新、用于公平性约束的正则化项，以及基于李雅普诺夫风格的分析以界收敛误差。
• 该方法通过从不传输原始数据或敏感属性来确保隐私；仅共享掩码化、聚合后的更新信息。

实验结果

研究问题

• RQ1 是否可以在不共享敏感属性或原始数据的情况下，在垂直联邦学习中有效实施公平性？
• RQ2 如何在保持公平性和隐私性的前提下，提升 VFL 中的通信效率？
• RQ3 在异步、非凸且具有隐私保护的设置下，公平 VFL 算法的理论收敛保证是什么？
• RQ4 所提出方法是否能在真实世界数据集上实现优于现有方法的公平性-准确性权衡？
• RQ5 每轮通信中本地更新次数的增加如何影响所提框架的收敛性和公平性？

主要发现

• 在较弱条件下，所提算法可在 O(δ⁻⁴) 次通信轮次内收敛至对偶目标的 δ-平稳点。
• 通过在每轮中允许多次本地更新，该方法显著减少了通信轮次，提升了效率，且未损害隐私性。
• 在三个基准数据集上的大量实验表明，与基线方法相比，该方法在公平性表现上显著更优，且在相等机会和人口均等性指标上均有可测量的提升。
• 该算法在显著降低不公平性的同时保持了较高的模型准确率，表现为在各敏感群体中公平性违规得分更低。
• 收敛性分析建立了理论上的鲁棒性，证明该算法即使在异步更新和非凸目标下仍保持稳定与高效。
• 隐私保护设计确保在训练过程中敏感属性和原始数据从未被暴露，满足强保密性要求。