[论文解读] Exploiting Machine Unlearning for Backdoor Attacks in Deep Learning System

Peixin Zhang, Jun Sun+2 more|arXiv (Cornell University)|Sep 12, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

本文提出BAU，一种新颖的黑盒后门攻击方法，利用机器遗忘机制在深度学习模型中隐蔽植入后门。通过向训练集中注入毒化数据和缓解数据，并对缓解样本提交遗忘请求，攻击者逐步激活后门，从而在不被检测的情况下显著提高恶意预测的成功率。

ABSTRACT

In recent years, the security issues of artificial intelligence have become increasingly prominent due to the rapid development of deep learning research and applications. Backdoor attack is an attack targeting the vulnerability of deep learning models, where hidden backdoors are activated by triggers embedded by the attacker, thereby outputting malicious predictions that may not align with the intended output for a given input. In this work, we propose a novel black-box backdoor attack based on machine unlearning. The attacker first augments the training set with carefully designed samples, including poison and mitigation data, to train a `benign' model. Then, the attacker posts unlearning requests for the mitigation samples to remove the impact of relevant data on the model, gradually activating the hidden backdoor. Since backdoors are implanted during the iterative unlearning process, it significantly increases the computational overhead of existing defense methods for backdoor detection or mitigation. To address this new security threat, we proposes two methods for detecting or mitigating such malicious unlearning requests. We conduct the experiment in both exact unlearning and approximate unlearning (i.e., SISA) settings. Experimental results indicate that: 1) our attack approach can successfully implant backdoor into the model, and sharding increases the difficult of attack; 2) our detection algorithms are effective in identifying the mitigation samples, while sharding reduces the effectiveness of our detection algorithms.

研究动机与目标

• 研究机器遗忘机制在深度学习系统中引入的安全风险。
• 证明机器遗忘可被劫持以隐蔽植入后门，而非仅作为隐私保护工具。
• 为基于遗忘的后门攻击开发检测与缓解方法。
• 在精确遗忘和近似遗忘（SISA）设置下评估所提攻击的有效性。
• 分析数据分片对攻击和防御机制可检测性及成功率的影响。

提出的方法

• 攻击者首先在包含毒化样本（标记为目标类别）和缓解样本（标记为正确类别）的数据集上训练一个良性模型。
• 缓解样本被精心设计，使其与干净数据无法区分，但被用作遗忘请求的目标。
• 攻击者对缓解样本提交多个遗忘请求，导致模型逐渐遗忘其影响，并重新配置决策边界以利于后门。
• 后门在遗忘过程中被激活，因为模型参数发生偏移，导致包含触发器的输入被错误分类。
• 提出了两种防御机制：一种基于分析被移除样本的影响，识别可疑的遗忘请求；另一种使用影响函数检测缓解样本。
• 攻击在精确遗忘和SISA（近似遗忘）设置下均进行了评估，其中SISA采用数据分片和基于切片的微调。

实验结果

研究问题

• RQ1 能否在不被初始检测的情况下，利用机器遗忘在深度学习模型中隐蔽植入后门？
• RQ2 所提出的BAU攻击在保持初始攻击成功率较低的同时，是否能显著提高后门成功率？
• RQ3 在SISA等遗忘系统中，数据分片在多大程度上降低了基于遗忘的后门检测机制的有效性？
• RQ4 基于影响或样本影响分析能否有效检测出针对缓解样本的恶意遗忘请求？
• RQ5 所提出的防御机制与现有后门检测技术相比，在基于遗忘的攻击背景下表现如何？

主要发现

• BAU攻击通过遗忘请求成功在模型中植入后门，且在遗忘缓解样本后，攻击成功率显著提升。
• 初始模型的攻击成功率较低，使得现有后门检测方法在遗忘前难以识别恶意行为。
• SISA遗忘框架中的数据分片增加了计算开销，并降低了所提检测算法的有效性。
• 基于影响分析识别缓解样本的检测方法在非分片设置下能有效识别恶意遗忘请求。
• 基于影响函数的防御机制成功识别出攻击中使用的缓解样本，证明了其在检测基于遗忘的后门传播方面的可行性。
• 该攻击在精确遗忘和近似遗忘（SISA）设置下均保持有效，凸显了当前遗忘框架在对抗性操纵下的脆弱性。