[论文解读] FedCVT: Semi-supervised Vertical Federated Learning with Cross-view Training

Yan Kang, Yang Liu+1 more|arXiv (Cornell University)|Aug 25, 2020

Privacy-Preserving Technologies in Data参考文献 24被引用 13

一句话总结

FedCVT 提出了一种半监督垂直联邦学习框架，通过估计缺失特征、为未标记数据生成伪标签，并在不同视图上联合训练三个分类器，显著提升了在有限对齐样本下的模型性能。该方法在仅使用 500 个对齐样本的 CIFAR10 数据集上，准确率最高提升了 22.7%，同时通过安全交换中间表示，有效保护了数据隐私。

ABSTRACT

Federated learning allows multiple parties to build machine learning models collaboratively without exposing data. In particular, vertical federated learning (VFL) enables participating parties to build a joint machine learning model based on distributed features of aligned samples. However, VFL requires all parties to share a sufficient amount of aligned samples. In reality, the set of aligned samples may be small, leaving the majority of the non-aligned data unused. In this article, we propose Federated Cross-view Training (FedCVT), a semi-supervised learning approach that improves the performance of the VFL model with limited aligned samples. More specifically, FedCVT estimates representations for missing features, predicts pseudo-labels for unlabeled samples to expand the training set, and trains three classifiers jointly based on different views of the expanded training set to improve the VFL model's performance. FedCVT does not require parties to share their original data and model parameters, thus preserving data privacy. We conduct experiments on NUS-WIDE, Vehicle, and CIFAR10 datasets. The experimental results demonstrate that FedCVT significantly outperforms vanilla VFL that only utilizes aligned samples. Finally, we perform ablation studies to investigate the contribution of each component of FedCVT to the performance of FedCVT. Code is available at https://github.com/yankang18/FedCVT

研究动机与目标

• 解决在参与方之间仅存在少量对齐样本时，垂直联邦学习（VFL）性能下降的问题。
• 在不共享原始数据或模型参数的前提下，有效利用未标记、非对齐的数据。
• 通过多数据视图之间的跨视图训练，提升 VFL 中的表示学习与泛化能力。
• 通过仅交换中间表示和梯度，而非原始数据或完整模型权重，保护数据隐私。
• 在标签数据有限的真实世界场景和多种数据类型中，验证 FedCVT 的有效性。

提出的方法

• 利用从对齐数据中学到的共享和独特表示，估计未标记样本的缺失特征。
• 通过在扩展数据集上训练的学生模型，为未标记样本预测伪标签。
• 构建三个不同的数据视图：一个来自原始特征，一个来自估计特征，一个来自伪标签样本。
• 通过垂直联邦学习联合训练三个视图上的三个分类器，以增强表示学习。
• 采用隐私保护框架，仅交换中间表示和梯度，不交换原始数据或完整模型参数。
• 使用混合加密方案，保护联邦训练过程中的前向和反向传播。

实验结果

研究问题

• RQ1 当仅存在少量对齐样本时，半监督学习技术能否提升垂直联邦学习的性能？
• RQ2 在联邦设置下，表示估计在恢复未标记样本的缺失特征方面有多有效？
• RQ3 在标签数据有限的情况下，伪标签法和跨视图训练在多大程度上提升了 VFL 的模型泛化能力？
• RQ4 FedCVT 是否在显著优于基线 VFL 的同时，仍能保持隐私保护？
• RQ5 在表示估计、伪标签法和跨视图训练中，哪一组件对性能提升贡献最大？

主要发现

• 在 CIFAR10 数据集上，仅使用 500 个对齐样本时，FedCVT 相较于基线 VFL 准确率提升了 22.66%，从 40.02% 提高至 62.68%。
• 在 10,000 个对齐样本下，FedCVT 仍优于在 25,000 个样本上训练的本地模型，准确率达到 72.06%，而本地模型为 67.74%。
• 仅表示估计一项就贡献了最大的性能提升，在 500 个对齐样本下使准确率较基线提升 11%。
• 当与表示估计结合时，跨视图训练进一步提升性能，在 4,000 个样本下使准确率额外提升 0.6%。
• 消融实验表明，所有组件——表示估计、伪标签法和跨视图训练——对最终性能提升具有累加性贡献。
• FedCVT 在所有测试数据集（NUS-WIDE、Vehicle、CIFAR10）上均优于基线 VFL，且在极小标签数据下仍保持优异性能。