[论文解读] A Hybrid Self-Supervised Learning Framework for Vertical Federated Learning

Yuanqin He, Yan Kang+5 more|arXiv (Cornell University)|Aug 18, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出 FedHSSL，一种用于纵向联邦学习的混合自监督学习框架，通过利用对齐样本的跨参与方视图和非对齐样本的本地增强来提升表征学习。该方法在隐私-效用权衡方面表现优越，显著优于基线模型，并通过不变特征聚合在标签推理攻击下展现出鲁棒性，实现了最先进性能。

ABSTRACT

Vertical federated learning (VFL), a variant of Federated Learning (FL), has recently drawn increasing attention as the VFL matches the enterprises' demands of leveraging more valuable features to achieve better model performance. However, conventional VFL methods may run into data deficiency as they exploit only aligned and labeled samples (belonging to different parties), leaving often the majority of unaligned and unlabeled samples unused. The data deficiency hampers the effort of the federation. In this work, we propose a Federated Hybrid Self-Supervised Learning framework, named FedHSSL, that utilizes cross-party views (i.e., dispersed features) of samples aligned among parties and local views (i.e., augmentation) of unaligned samples within each party to improve the representation learning capability of the VFL joint model. FedHSSL further exploits invariant features across parties to boost the performance of the joint model through partial model aggregation. FedHSSL, as a framework, can work with various representative SSL methods. We empirically demonstrate that FedHSSL methods outperform baselines by large margins. We provide an in-depth analysis of FedHSSL regarding label leakage, which is rarely investigated in existing self-supervised VFL works. The experimental results show that, with proper protection, FedHSSL achieves the best privacy-utility trade-off against the state-of-the-art label inference attack compared with baselines. Code is available at \url{https://github.com/jorghyq2016/FedHSSL}.

研究动机与目标

• 解决由于标注数据和对齐样本有限导致的纵向联邦学习中的数据不足问题。
• 通过利用对齐样本的跨参与方视图和非对齐样本的本地增强，提升纵向联邦学习中的表征学习。
• 通过跨参与方部分聚合不变特征，提升模型泛化能力。
• 分析并缓解自监督纵向联邦学习中的标签泄露问题，该问题在先前工作中极少被研究。
• 在标签推理攻击下，相比最先进方法，实现更优的隐私-效用权衡。

提出的方法

• FedHSSL 使用跨参与方视图——即对齐样本在各参与方间传播的特征——作为对比自监督学习的正样本对。
• 在每个参与方内部应用本地数据增强，为非对齐样本生成额外视图，以增强本地表征学习。
• 该框架执行部分模型聚合，以提取并共享跨参与方的不变特征，提升联合模型的泛化能力。
• 将多种自监督学习方法（如 SimSiam、BYOL、MoCo）作为可插拔组件集成，提升灵活性与兼容性。
• 在预训练和微调阶段均进行了新颖的标签泄露分析，并应用基于 ISO 的保护机制以评估隐私-效用权衡。
• 使用四个真实世界数据集（NUSWIDE、Avazu、BHI、Modelnet）进行评估，消融研究证实了各组件的贡献。

Figure 1: The conventional VFL setting illustrated by two parties. Active party 1 owns a bottom model $f^{1}$ and a top model $g^{1}$ , while passive party 2 owns a bottom model $f^{2}$ . We call the joint VFL model composed of $f^{1}$ , $f^{2}$ , and $g^{1}$ FedSplitNN .

实验结果

研究问题

• RQ1 混合自监督学习框架能否有效利用纵向联邦学习中对齐与非对齐样本，以提升模型性能？
• RQ2 与仅依赖本地增强相比，利用对齐样本的跨参与方视图在表征质量方面表现如何？
• RQ3 在标签推理攻击下，FedHSSL 相比现有自监督 VFL 方法，标签泄露程度降低了多少？
• RQ4 对齐样本数量变化对 FedHSSL 中隐私-效用权衡有何影响？
• RQ5 跨参与方部分聚合不变特征是否显著提升了联合 VFL 模型的性能？

主要发现

• FedHSSL 在四个数据集上均显著优于所有基线模型，主任务准确率提升范围为 0.03 至 0.05。
• 在 NUSWIDE 数据集上，FedHSSL-SimSiam 在 40% 对齐样本条件下达到 0.833 的主任务准确率，显著优于相同条件下的 FedLocalSimSiam（0.533）。
• 校准平均性能（CAP）指标显示，FedHSSL-SimSiam 在 NUSWIDE 上达到 0.284，在 Modelnet 上达到 0.349，优于 FedSplitNN 和 FedLocalSimSiam。
• 在 BHI 数据集上，当对齐样本占 40% 时，FedHSSL-SimSiam 达到 0.788 的主任务准确率，而 FedLocalSimSiam 为 0.756，证明了跨参与方视图利用的优势。
• 在隐私分析中，FedHSSL 的隐私-效用权衡优于基线模型，当使用 40% 对齐样本和强保护机制时，标签恢复准确率（MC 攻击）降至 0.443。
• 消融研究证实，跨参与方视图学习和本地增强均对性能有显著贡献，二者结合带来最大性能提升。

Figure 2: Architecture overview of three representative SSL methods. All methods comprise two encoders: an online encoder $f$ , and a target encoder $\tilde{f}$ . Gradients are not computed for the target encoder. For MoCo and BYOL, $\tilde{f}$ is the moving average of $f$ . MoCo has a queue to prov