[论文解读] A LLM Assisted Exploitation of AI-Guardian

Nicholas Carlini|arXiv (Cornell University)|Jul 20, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

本文展示了 GPT-4 能够通过从自然语言指令生成完整攻击代码，有效突破 IEEE S&P 2023 年新提出的对抗性防御 AI-Guardian。该攻击将 AI-Guardian 的鲁棒性从 98% 降低至仅 8%，证明该防御在原始威胁模型下完全无效，凸显了大型语言模型在对抗机器学习研究中作为研究助手的日益强大的能力。

ABSTRACT

Large language models (LLMs) are now highly capable at a diverse range of tasks. This paper studies whether or not GPT-4, one such LLM, is capable of assisting researchers in the field of adversarial machine learning. As a case study, we evaluate the robustness of AI-Guardian, a recent defense to adversarial examples published at IEEE S&P 2023, a top computer security conference. We completely break this defense: the proposed scheme does not increase robustness compared to an undefended baseline. We write none of the code to attack this model, and instead prompt GPT-4 to implement all attack algorithms following our instructions and guidance. This process was surprisingly effective and efficient, with the language model at times producing code from ambiguous instructions faster than the author of this paper could have done. We conclude by discussing (1) the warning signs present in the evaluation that suggested to us AI-Guardian would be broken, and (2) our experience with designing attacks and performing novel research using the most recent advances in language modeling.

研究动机与目标

• 评估 GPT-4 是否能够作为生成现代防御机制对抗性攻击的高效研究助手。
• 测试 AI-Guardian 在 IEEE S&P 2023 上提出的近期对抗性样本防御机制的鲁棒性。
• 识别原始 AI-Guardian 论文中预示其易受攻击的警示信号。
• 探索使用大型语言模型自动化复杂机器学习研究任务的可行性与效率。

提出的方法

• 通过自然语言指令向 GPT-4 提供提示，生成用于突破 AI-Guardian 的端到端攻击代码，包括模式恢复与后门注入。
• 攻击采用基于梯度的优化方法，以恢复防御机制中隐藏的触发模式，利用 PyTorch 的 autograd 实现反向传播。
• 采用掩码化、置换化的后门策略，模型被训练以生成一种模式，当该模式被应用时，其输出 logits 与受保护模型的输出相匹配。
• 通过人机-大模型交互对攻击代码进行迭代优化，仅需极少的人工修正。
• 最终攻击使用 SGD 最小化预测 logits 与目标 logits 之间的均方误差，同时将模式值裁剪至 [-0.5, 0.5] 范围，以匹配原始模型的假设。
• 整个攻击流程完全由 GPT-4 实现，仅需人类对正确性与清晰度进行监督。

实验结果

研究问题

• RQ1 大型语言模型（如 GPT-4）是否能够可靠地从高层次自然语言描述中生成功能完整的对抗性攻击代码？
• RQ2 大型语言模型在无需人工编写代码的情况下，能在多大程度上自动化现代机器学习防御机制的破解过程？
• RQ3 防御机制中可能存在哪些结构性或评估上的缺陷，可预示其易受大模型辅助攻击？
• RQ4 GPT-4 在逆向工程复杂防御机制（如 AI-Guardian）方面有多高效？

主要发现

• GPT-4 仅通过自然语言提示即成功生成了完整且可运行的 AI-Guardian 攻击代码，且人类干预极少。
• 该攻击在原始威胁模型下将 AI-Guardian 的鲁棒性从 98% 降低至仅 8%，证明其无法提供有意义的保护。
• 该防御易受模式恢复攻击，因其依赖于输入空间中固定且可学习的触发模式。
• 即使指令模糊或不精确，GPT-4 仍常能生成正确或接近正确的代码，且错误可通过迭代优化快速修正。
• 原始 AI-Guardian 论文包含若干警示信号，如声称对近乎无界的扰动具有鲁棒性，这些本应预示其脆弱性。
• 本研究证实，大型语言模型如今可作为对抗机器学习研究中极为高效的研究助手，显著加速攻击开发，并减少对底层编码技能的需求。