[论文解读] A Partial Break of the Honeypots Defense to Catch Adversarial Attacks

Nicholas Carlini|arXiv (Cornell University)|Sep 23, 2020

Adversarial Robustness in Machine Learning参考文献 4被引用 7

一句话总结

该论文通过一种基于梯度的攻击，在ℓ∞威胁模型下使蜜罐防御的真正例率降至0%，AUC降至0.02，实现了对该防御的部分突破。该攻击交替最小化误分类损失与逃避损失，即使在未知防御签名的情况下也能成功，从而破坏了防御依赖后门激活模式可检测性的核心假设。

ABSTRACT

A recent defense proposes to inject "honeypots" into neural networks in order to detect adversarial attacks. We break the baseline version of this defense by reducing the detection true positive rate to 0\% and the detection AUC to 0.02, maintaining the original distortion bounds. The authors of the original paper have amended the defense in their CCS'20 paper to mitigate this attacks. To aid further research, we release the complete 2.5 hour keystroke-by-keystroke screen recording of our attack process at https://nicholas.carlini.com/code/ccs_honeypot_break.

研究动机与目标

• 评估蜜罐防御在白盒和有限白盒威胁模型下对对抗性攻击的鲁棒性。
• 探究是否可构造对抗性样本，通过利用防御对后门签名激活相似性的依赖来逃避检测。
• 证明简单的基于梯度的优化方法可破坏依赖启发式检测机制的防御。
• 提供实证证据表明，该防御在基线形式下的声称鲁棒性并不成立。

提出的方法

• 采用两阶段梯度下降攻击，交替最小化交叉熵损失（以实现误分类）和检测损失（以逃避蜜罐检测器），确保每一步更新均提升攻击目标。
• 应用正交梯度投影以避免产生反效果的更新：在增加误分类时，将更新步长投影至与检测梯度方向正交。
• 采用结合交叉熵与检测相似度的损失函数，并通过自适应超参数调优（λ = 8）平衡攻击目标。
• 通过对抗性样本的经验平均估计防御的签名φ，从而在无需事先知晓φ的情况下实施攻击。
• 实施ℓ∞有界扰动，步长为0.1，使用100次投影梯度下降迭代。
• 通过标准指标测量AUC与真正例率来验证攻击的有效性，与随机猜测（AUC = 0.5）进行对比。

实验结果

研究问题

• RQ1 是否可通过同时逃避检测与维持误分类的简单基于梯度的攻击绕过蜜罐防御？
• RQ2 防御对后门签名激活相似性的依赖在多大程度上使其易受签名估计与逃避的影响？
• RQ3 当攻击者缺乏对签名φ的了解时，防御是否仍如威胁模型所声称的那样保持鲁棒？
• RQ4 该攻击是否可泛化至破坏基于隐藏层激活模式的类似检测机制的防御？
• RQ5 在保持原始失真约束的前提下，自适应攻击可达到的最低AUC是多少？

主要发现

• 该攻击使防御的AUC降至0.02，远低于随机猜测的阈值0.5，表明检测机制完全失效。
• 在10%假正例率下，真正例率降至0%，证明该防御在攻击下完全无法检测任何对抗性样本。
• 即使在未知防御签名φ的情况下，攻击仍具有效性，通过从标准攻击方法生成的对抗性样本估计φ实现。
• 改进后的攻击通过在误分类与逃避目标之间交替，并结合正交梯度投影，其效果显著优于标准损失最小化方法。
• 作者确认原始论文的最终版本中已修补该防御，但基线版本在标准对抗性威胁模型下完全失效。
• 攻击过程完整记录了2.5小时，为可复现性与进一步分析提供了完整的审计轨迹。