[论文解读] Backdoor Attacks on Federated Learning with Lottery Ticket Hypothesis

Zeyuan Yin, Ye Yuan+2 more|arXiv (Cornell University)|Sep 22, 2021

Privacy-Preserving Technologies in Data参考文献 27被引用 6

一句话总结

本文表明，基于彩票结构假设的联邦学习（LotteryFL）与标准联邦学习一样容易受到后门攻击的影响，后门攻击会破坏彩票结构，同时保留关键神经元。本文提出一种基于汉明距离的掩码相似度检测方法，以识别受污染的彩票结构，从而在联邦学习系统中实现稳健防御。

ABSTRACT

Edge devices in federated learning usually have much more limited computation and communication resources compared to servers in a data center. Recently, advanced model compression methods, like the Lottery Ticket Hypothesis, have already been implemented on federated learning to reduce the model size and communication cost. However, Backdoor Attack can compromise its implementation in the federated learning scenario. The malicious edge device trains the client model with poisoned private data and uploads parameters to the center, embedding a backdoor to the global shared model after unwitting aggregative optimization. During the inference phase, the model with backdoors classifies samples with a certain trigger as one target category, while shows a slight decrease in inference accuracy to clean samples. In this work, we empirically demonstrate that Lottery Ticket models are equally vulnerable to backdoor attacks as the original dense models, and backdoor attacks can influence the structure of extracted tickets. Based on tickets' similarities between each other, we provide a feasible defense for federated learning against backdoor attacks on various datasets.

研究动机与目标

• 探究基于彩票结构假设的LotteryFL在联邦学习环境下的后门攻击脆弱性。
• 分析后门攻击如何改变提取彩票结构过程中的结构组成，特别是在神经元保留与剪枝模式方面的影响。
• 开发一种实用的防御机制，通过剪枝掩码的结构相似性检测联邦学习中受污染的彩票结构。
• 在多种数据集和模型架构下，评估检测方法在不同后门攻击场景下的有效性。
• 确保防御机制具备鲁棒性，最大限度减少误报，同时在良性彩票结构被误判为恶意时仍保持模型性能。

提出的方法

• 采用两种后门攻击变体：BadNet（固定白色方形触发器）和Random Trigger Attack（随机方形触发器），以污染客户端数据。
• 应用彩票结构假设训练并剪枝模型，从良性与受污染的训练数据中提取子网络（即彩票结构）。
• 通过计算彩票结构二值掩码之间的汉明距离，衡量结构相似性，识别出受后门污染的异常情况。
• 实现一个检测函数（Detect()），标记与多数其他客户端彩票结构相似度显著偏低的客户端。
• 应用微调过程（FineTune()），以减轻检测到的彩票结构中的后门影响，恢复模型准确率与鲁棒性。
• 在多个剪枝率（30%、50%、70%）和数据集（CIFAR-10、CIFAR-100、VGG16、ResNet18）上比较良性与受污染彩票结构之间的相似度。

实验结果

研究问题

• RQ1 在联邦学习中，彩票结构子网络是否与原始密集模型一样容易受到后门攻击？
• RQ2 后门攻击如何影响提取的彩票结构的结构组成，特别是在神经元保留与剪枝模式方面？
• RQ3 彩票结构掩码之间的结构相似性是否可作为联邦学习中检测受污染模型的可靠信号？
• RQ4 所提出的检测方法在保持模型准确率与鲁棒性的同时，能在多大程度上减少误报？
• RQ5 在联邦设置中，面对不同水平的数据污染与非独立同分布（non-iid）数据分布时，该防御机制表现如何？

主要发现

• LotteryFL与标准联邦学习一样容易受到后门攻击，即使在剪枝后，后门攻击成功率（ASR）仍保持较高水平（例如，在CIFAR-10上70%剪枝率下ASR达98.7%）。
• 后门攻击显著改变了提取的彩票结构的结构，导致良性与受污染彩票结构之间的平均相似度在VGG16-CIFAR10上30%剪枝率时降低高达33%。
• 对模型准确率至关重要的神经元（关键神经元）在良性与受污染彩票结构中均高度保留，这解释了在攻击下仍保持高干净数据准确率（CDA）的原因。
• 所提出的检测方法能以高精度识别受污染的彩票结构，表现为良性与受污染结构之间相似度得分较低（例如，67.09–77.37），而良性-良性配对的相似度更高。
• 检测与微调相结合的防御流程能有效恢复模型性能，显著降低后门影响，且不损害干净准确率。
• 即使出现误报（将良性彩票结构误判为受污染），微调步骤仍能保持模型实用性，确保性能无下降。