[论文解读] Batch Label Inference and Replacement Attacks in Black-Boxed Vertical Federated Learning

Yang Liu, Tianyuan Zou+5 more|arXiv (Cornell University)|Dec 10, 2021

Privacy-Preserving Technologies in Data被引用 10

一句话总结

本文揭示了在同态加密（HE）保护的黑盒垂直联邦学习（VFL）中，即使存在同态加密保护，批量级标签逆向推断和替换攻击仍可通过梯度反演技术利用批量平均梯度而成为可能。本文提出混淆自编码器（CoAE），一种基于熵正则化的自编码器防御机制，可有效阻止此类攻击，同时相比差分隐私或梯度稀疏化方法，能更好地保持主任务准确率。

ABSTRACT

In a vertical federated learning (VFL) scenario where features and model are split into different parties, communications of sample-specific updates are required for correct gradient calculations but can be used to deduce important sample-level label information. An immediate defense strategy is to protect sample-level messages communicated with Homomorphic Encryption (HE), and in this way only the batch-averaged local gradients are exposed to each party (termed black-boxed VFL). In this paper, we first explore the possibility of recovering labels in the vertical federated learning setting with HE-protected communication, and show that private labels can be reconstructed with high accuracy by training a gradient inversion model. Furthermore, we show that label replacement backdoor attacks can be conducted in black-boxed VFL by directly replacing encrypted communicated messages (termed gradient-replacement attack). As it is a common presumption that batch-averaged information is safe to share, batch label inference and replacement attacks are a severe challenge to VFL. To defend against batch label inference attack, we further evaluate several defense strategies, including confusional autoencoder (CoAE), a technique we proposed based on autoencoder and entropy regularization. We demonstrate that label inference and replacement attacks can be successfully blocked by this technique without hurting as much main task accuracy as compared to existing methods.

研究动机与目标

• 探究在具有HE保护的黑盒VFL中，是否可从批量平均梯度中重建私有标签。
• 证明无需样本级梯度访问或辅助数据，即可在黑盒VFL中实施有效的后门攻击。
• 开发一种实用的防御机制，可在不降低主任务性能的前提下防止标签逆向推断与替换攻击。
• 评估CoAE——一种基于自编码器与熵正则化的新型防御机制——在上述攻击中的有效性。

提出的方法

• 提出一种在批量平均梯度上训练的梯度反演模型，可高精度重建私有标签。
• 提出梯度替换攻击，即攻击者通过替换批量级通信中的标签，操纵加密梯度以注入后门。
• 设计混淆自编码器（CoAE），利用自编码器将真实标签映射为具有熵正则化的模糊、混淆标签，以降低可预测性。
• 根据黑盒VFL协议，通过可信第三方（TTP）实施随机掩码与解密，以在训练过程中保护隐私。
• 在损失函数中引入熵正则化，以增强标签混淆度，使攻击者更难从重建分布中推断真实标签。
• 在标签逆向推断与后门攻击场景下评估CoAE，与差分隐私和梯度稀疏化方法进行对比。

实验结果

研究问题

• RQ1 在具有HE保护的黑盒VFL系统中，能否仅通过批量平均梯度准确重建私有标签？
• RQ2 在无样本级梯度访问的情况下，是否可通过替换加密梯度在黑盒VFL中实施有效的后门攻击？
• RQ3 CoAE在阻止标签逆向推断与替换攻击的同时，维持高主任务准确率方面的有效性如何？
• RQ4 混淆程度与熵正则化对CoAE抵御梯度反演攻击的鲁棒性有何影响？

主要发现

• 仅使用批量平均梯度，标签逆向推断攻击在多个数据集上准确率超过90%，即使在HE保护下依然有效。
• 梯度替换攻击成功通过操纵加密的批量级梯度，在无样本级梯度或辅助数据的情况下向模型注入后门。
• CoAE防御将标签恢复准确率降低至接近随机水平，有效阻止了逆向推断攻击，同时主任务准确率显著高于差分隐私或梯度稀疏化方法。
• 在熵正则化（λ₂ = 1）下，恢复标签的概率分布变得弥散，使攻击者无法可靠地将样本映射到真实类别。
• 该防御对具有小触发器的分布式后门攻击也有效，且在防御下保持了比基线方法更高的主任务准确率。
• 当移除混淆机制（λ₂ = 0）时，CoAE无法阻止攻击，证实熵正则化是实现有效混淆的关键。