[论文解读] Blacklight: Scalable Defense for Neural Networks against Query-Based Black-Box Attacks

Huiying Li, Shawn Shan+4 more|arXiv (Cornell University)|Jun 24, 2020

Adversarial Robustness in Machine Learning被引用 12

一句话总结

Blacklight 是一种可扩展的防御机制，通过利用迭代优化查询中的相似性，使用概率内容指纹检测基于查询的黑盒对抗攻击。它在面对持续攻击者和高级反制措施时，仍能实现近乎完美的检测效果（对大多数攻击为100%），且误报率极低，通过识别高度相似的输入查询实现。

ABSTRACT

Deep learning systems are known to be vulnerable to adversarial examples. In particular, query-based black-box attacks do not require knowledge of the deep learning model, but can compute adversarial examples over the network by submitting queries and inspecting returns. Recent work largely improves the efficiency of those attacks, demonstrating their practicality on today's ML-as-a-service platforms. We propose Blacklight, a new defense against query-based black-box adversarial attacks. The fundamental insight driving our design is that, to compute adversarial examples, these attacks perform iterative optimization over the network, producing image queries highly similar in the input space. Blacklight detects query-based black-box attacks by detecting highly similar queries, using an efficient similarity engine operating on probabilistic content fingerprints. We evaluate Blacklight against eight state-of-the-art attacks, across a variety of models and image classification tasks. Blacklight identifies them all, often after only a handful of queries. By rejecting all detected queries, Blacklight prevents any attack to complete, even when attackers persist to submit queries after account ban or query rejection. Blacklight is also robust against several powerful countermeasures, including an optimal black-box attack that approximates white-box attacks in efficiency. Finally, we illustrate how Blacklight generalizes to other domains like text classification.

研究动机与目标

• 为应对机器学习即服务（ML-as-a-service）平台中日益增长的基于查询的黑盒攻击威胁，此类攻击利用迭代查询优化在无模型访问的情况下生成对抗性样本。
• 设计一种即使攻击者更换账户或使用高效查询的先进攻击策略，仍能保持有效性的防御机制。
• 基于输入空间中的相似性检测对抗性查询，利用此类攻击在优化过程中生成高度相似查询的特性。
• 确保对自适应攻击和理想化攻击变体（包括接近白盒效率的攻击）的可扩展性和鲁棒性。
• 将防御机制推广至其他领域，如文本分类，而不仅限于图像分类。

提出的方法

• Blacklight 使用安全的单向哈希函数，为每个输入查询生成紧凑的概率内容指纹，确保语义相似的输入产生重叠的指纹。
• 通过将传入查询的指纹与缓存的先前指纹集进行比较，检测潜在的对抗性查询，当重叠超过阈值时触发检测。
• 该防御机制与账户无关，仅依赖于输入相似性，因此即使攻击者更换账户也能有效防御。
• 采用加盐量化和引导变换技术，抵御通过输入扰动操纵指纹的规避尝试。
• 系统定期重置其指纹缓存，以防止长期追踪，但该重置窗口因暂停-恢复攻击的极高时间成本而被缓解。
• 该系统设计轻量且可扩展，可在生产级机器学习服务中实时高效运行。

实验结果

研究问题

• RQ1 防御机制能否通过识别迭代优化过程中生成的高度相似查询，在攻击者使用多个账户的情况下，检测基于查询的黑盒攻击？
• RQ2 该防御机制对高效查询的先进攻击（减少成功所需查询次数）的防御效果如何？
• RQ3 该防御机制能否在理想化攻击（以完美精度近似白盒梯度信息）下保持鲁棒性？
• RQ4 在利用系统重置机制的规避尝试下，该防御机制表现如何？
• RQ5 该防御机制能否推广至非图像任务，如文本分类？

主要发现

• Blacklight 对八种最先进的基于查询的黑盒攻击实现了100%的检测率，包括使用梯度估计和无梯度优化的攻击。
• 该防御机制平均仅需2次查询即可检测到攻击，前几次查询中检测覆盖率达99%。
• 即使在最优黑盒攻击假设下（攻击者完美估计梯度），Blacklight 仍能检测到100%的CW攻击和81%的PGD攻击。
• 即使使用替代模型以减少查询次数的混合攻击，仍能被检测到，平均仅需2次查询即可实现100%检测率和99%覆盖率达。
• 利用重置窗口的暂停-恢复攻击平均需超过1,000天（约3年）才能成功，因此在实际中不可行。
• 该防御机制可推广至文本分类任务，证明其在图像模型之外的更广泛应用潜力。