[论文解读] Asymmetrical Vertical Federated Learning

Yang Liu, Xiong Zhang+1 more|arXiv (Cornell University)|Apr 16, 2020

Privacy-Preserving Technologies in Data参考文献 10被引用 31

一句话总结

论文提出了非对称垂直联邦学习（AVFL）以保护样本ID隐私，开发了基于 Pohlig-Hellman 实现的非对称私有集合交集（APSI）协议，并提出了 Genuine with Dummy (GWD) 训练方法，通过联邦逻辑回归验证。

ABSTRACT

Federated learning is a distributed machine learning method that aims to preserve the privacy of sample features and labels. In a federated learning system, ID-based sample alignment approaches are usually applied with few efforts made on the protection of ID privacy. In real-life applications, however, the confidentiality of sample IDs, which are the strongest row identifiers, is also drawing much attention from many participants. To relax their privacy concerns about ID privacy, this paper formally proposes the notion of asymmetrical vertical federated learning and illustrates the way to protect sample IDs. The standard private set intersection protocol is adapted to achieve the asymmetrical ID alignment phase in an asymmetrical vertical federated learning system. Correspondingly, a Pohlig-Hellman realization of the adapted protocol is provided. This paper also presents a genuine with dummy approach to achieving asymmetrical federated model training. To illustrate its application, a federated logistic regression algorithm is provided as an example. Experiments are also made for validating the feasibility of this approach.

研究动机与目标

• 定义并形式化非对称垂直联邦学习（AVFL），并将其与对称垂直 FL 区分开来。
• 在 ID 比对阶段改造私有集合交集（PSI）以保护弱方的 ID。
• 提供基于 Pohlig-Hellman 的 APSI 实现并分析其安全性属性。
• 提出用于非对称模型训练的 Genuine with Dummy (GWD) 方法。
• 通过一个联邦逻辑回归示例演示 AVFL 并用实验验证可行性。

提出的方法

• 基于 pre-ID 对齐的 ID 空间，将垂直 FL 正式分类为对称与非对称。
• 引入产生 obf（混淆集）且私有交集由弱方保留的非对称 PSI（APSI）。
• 给出基于 Pohlig-Hellman 的 APSI 协议并证明 obf 与交集的安全性属性。
• 提出带有可信协调者的 Genuine with Dummy (GWD) 训练框架，在保持非对称性的同时使结果等同于 SVFL。
• 将 GWD 应用于非对称垂直逻辑回归，并详细描述加密梯度的计算与更新。

实验结果

研究问题

• RQ1 在一个一方在 ID 暴露方面较弱的情境中，垂直联邦学习如何保护样本 ID 的隐私？
• RQ2 APSI 混淆是否能在限制弱方 ID 泄漏的同时保留训练所需的联合数据？
• RQ3 GWD 训练方法是否能达到与标准对称垂直 FL 相当的性能？
• RQ4 在安全计算约束下，AVFL 在实际模型（如逻辑回归）中的表现如何？

主要发现

• APSI 通过对交集进行混淆来实现隐私保护的 ID 对齐，同时允许弱方学习真实交集并保护强方隐私。
• 基于 Pohlig-Hellman 的 APSI 协议能够安全计算带有可调隐私参数 λ 的混淆交集集合。
• Genuine with Dummy（GWD）方法通过用数学恒等对虚拟样本进行掩蔽，使非对称训练的结果与标准垂直 FL 相同。
• 在 MNIST 上的 AVLR 实验表明，不同 λ 值下的训练损失和 AUC 曲线相似，表明可行性及与对称设置相当的性能。