[论文解读] LLMs for Cyber Security: New Opportunities

Dinil Mon Divakaran, Sai Teja Peddinti|arXiv (Cornell University)|Apr 17, 2024

Law, AI, and Intellectual Property被引用 4

一句话总结

本文探讨了大型语言模型（LLMs）如何通过实现自动化漏洞检测、补丁修复、网络钓鱼防御和内容审核，彻底革新网络安全。研究结果表明，LLMs 可显著加速安全任务（例如在12分钟内修复漏洞），同时揭示了提示注入和对抗性攻击等风险，并倡导通过红队测试和水印技术来保障 LLM 的安全部署。

ABSTRACT

Large language models (LLMs) are a class of powerful and versatile models that are beneficial to many industries. With the emergence of LLMs, we take a fresh look at cyber security, specifically exploring and summarizing the potential of LLMs in addressing challenging problems in the security and safety domains.

研究动机与目标

• 探讨 LLM 在解决软件漏洞、网络钓鱼和内容审核等长期网络安全挑战方面的变革潜力。
• 评估 LLM 在自动化代码修复、漏洞利用检测和实际系统中安全加固等任务中的有效性。
• 识别 LLM 带来的新兴风险，包括提示注入和对抗性提示攻击，并提出缓解策略。
• 评估 LLM 在降低网络安全专业门槛方面的作用，尤其对经验较少的安全实践者而言。
• 倡导将红队测试、安全框架和水印技术整合，以保障高风险环境中 LLM 的安全部署。

提出的方法

• 利用 GPT-4、Gemini 和 Llama 2 等预训练 LLM，在安全相关任务上进行零样本或少样本推理。
• 在标注的安全数据集上微调 LLM，以提升漏洞检测和漏洞利用生成的性能。
• 采用检索增强生成（RAG）技术，将 LLM 输出与实时威胁情报和系统日志相结合。
• 通过 LLM 生成的对抗性样本进行对抗性训练，以提升基于机器学习的安全检测器的鲁棒性。
• 设计 LLM 防火墙和提示注入检测器，在模型推理前过滤恶意输入。
• 应用水印技术（例如 Kirchenbauer 等人提出的方法），以追踪和识别 AI 生成内容，减少深度伪造滥用。

实验结果

研究问题

• RQ1 LLMs 是否能有效检测并自动修复软件漏洞，其性能是否可与甚至超越人类开发者？
• RQ2 LLMs 对安全能力有限的组织（尤其在漏洞管理和事件响应方面）的总体安全态势有何影响？
• RQ3 LLMs 在多大程度上可能因提示注入或对抗性提示而被利用？如何加强防御？
• RQ4 LLMs 在 LLM 全生命周期中如何自动化红队测试和威胁模拟？
• RQ5 如何将水印和来源追踪技术集成到 LLM 输出中，以减轻其在网络攻击中的滥用风险？

主要发现

• 如 AutoCodeRover 等 LLM 在每项 GitHub 安全问题上平均用时不足 12 分钟即完成修复，显著优于人类开发者平均需两天以上的时间。
• Gemini 帮助修复了 Google 内部安全团队发现的 15% 的漏洞，证明其在真实修补工作流中具有可衡量的影响。
• 实证研究表明，AI 代码助手引入的漏洞少于人类开发者，用户研究也表明 LLM 辅助编码带来的安全风险较低。
• LLM 生成的对抗性样本可用于通过对抗性训练提升基于机器学习的网络钓鱼检测器的鲁棒性。
• 即使在经过对齐安全性的 LLM 上，提示注入攻击仍是关键威胁，凸显了持续红队测试和输入过滤的必要性。
• 如 Kirchenbauer 等人提出的水印框架可实现对 LLM 生成文本的高精度检测，且误报率极低，为防范深度伪造滥用提供了切实可行的防御方案。