[论文解读] From ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and Privacy

Maanak Gupta, Charankumar Akiri+3 more|arXiv (Cornell University)|Jul 3, 2023

Ethics and Social Impacts of AI被引用 55

一句话总结

该论文综述生成式人工智能（GenAI）如 ChatGPT 如何影响网络安全与隐私，详细介绍攻击向量、越狱（jailbreaks）和防御策略，以及社会与法律层面的影响。还比较了 ChatGPT 与 Bard，并概述了存在的挑战。

ABSTRACT

Undoubtedly, the evolution of Generative AI (GenAI) models has been the highlight of digital transformation in the year 2022. As the different GenAI models like ChatGPT and Google Bard continue to foster their complexity and capability, it's critical to understand its consequences from a cybersecurity perspective. Several instances recently have demonstrated the use of GenAI tools in both the defensive and offensive side of cybersecurity, and focusing on the social, ethical and privacy implications this technology possesses. This research paper highlights the limitations, challenges, potential risks, and opportunities of GenAI in the domain of cybersecurity and privacy. The work presents the vulnerabilities of ChatGPT, which can be exploited by malicious users to exfiltrate malicious information bypassing the ethical constraints on the model. This paper demonstrates successful example attacks like Jailbreaks, reverse psychology, and prompt injection attacks on the ChatGPT. The paper also investigates how cyber offenders can use the GenAI tools in developing cyber attacks, and explore the scenarios where ChatGPT can be used by adversaries to create social engineering attacks, phishing attacks, automated hacking, attack payload generation, malware creation, and polymorphic malware. This paper then examines defense techniques and uses GenAI tools to improve security measures, including cyber defense automation, reporting, threat intelligence, secure code generation and detection, attack identification, developing ethical guidelines, incidence response plans, and malware detection. We will also discuss the social, legal, and ethical implications of ChatGPT. In conclusion, the paper highlights open challenges and future directions to make this GenAI secure, safe, trustworthy, and ethical as the community understands its cybersecurity impacts.

研究动机与目标

• 提供 GenAI 演变及其网络安全格局的概览。
• 识别针对 ChatGPT 的漏洞与攻击技术（如 jailbreaking、提示注入）。
• 探索 GenAI 如何用于网络进攻（社会工程、钓鱼、自动化入侵、恶意软件/代码生成）。
• 讨论利用 GenAI 的防御策略（自动化、威胁情报、安全编码、事件响应）。
• 审视社会、法律与伦理影响，并比较 GenAI 系统（ChatGPT vs Bard）。

提出的方法

• 回顾并综合现有文献及 GenAI 在网络安全中的使用示例。
• 分析针对 ChatGPT 的特定漏洞与越狱技术（DAN、SWITCH、CHARACTER Play）。
• 展示攻击场景，包括社会工程、钓鱼、自动化入侵、载荷及恶意软件/代码生成。
• 讨论 GenAI 在威胁情报、事件响应与安全编码中的防御应用。
• 比较 ChatGPT 与 Google Bard 的安全特性，并概述尚待解决的挑战与未来方向。

实验结果

研究问题

• RQ1 GenAI 在网络安全与隐私方面的关键影响途径有哪些，既包括进攻也包括防守视角？
• RQ2 影响 ChatGPT 的哪些漏洞与越狱技术，以及攻击者如何利用它们？
• RQ3 GenAI 如何用于提升网络防御（自动化、威胁情报、安全编码）与事件响应？
• RQ4 GenAI 在网络安全中的社会、法律与伦理影响有哪些，包括隐私关切？
• RQ5 ChatGPT 与 Google Bard 在安全特性与风险方面的比较如何？

主要发现

• GenAI 同时支持进攻与防守的网络安全用例，构成双刃剑的影响。
• ChatGPT 的漏洞包括越狱（DAN、SWITCH、CHARACTER Play）、反向心理、提示注入、以及“逃逸”行为，可能绕过护栏。
• GenAI 使能的攻击场景包括社会工程、定向钓鱼、自动化入侵、载荷/恶意软件/代码生成，以及 WAF 绕过。
• GenAI 能通过威胁情报、事件响应自动化、安全代码生成以及伦理指南制定来提升防御。
• 论文讨论社会、法律与隐私影响，并提供 ChatGPT 与 Bard 在安全特性方面的比较视角，概述存在的挑战与未来方向。