[논문 리뷰] From ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and Privacy

Maanak Gupta, Charankumar Akiri외 3명|arXiv (Cornell University)|2023. 07. 03.

Ethics and Social Impacts of AI인용 수 55

한 줄 요약

본 논문은 ChatGPT와 같은 생성형 인공지능(GenAI)이 사이버보안과 프라이버시에 미치는 영향을 고찰하고, 공격 벡터, 탈출(jailbreak), 방어 전략은 물론 사회적·법적 함의를 자세히 다룬다. 또한 ChatGPT와 Bard를 비교하고 남은 도전 과제를 요약한다.

ABSTRACT

Undoubtedly, the evolution of Generative AI (GenAI) models has been the highlight of digital transformation in the year 2022. As the different GenAI models like ChatGPT and Google Bard continue to foster their complexity and capability, it's critical to understand its consequences from a cybersecurity perspective. Several instances recently have demonstrated the use of GenAI tools in both the defensive and offensive side of cybersecurity, and focusing on the social, ethical and privacy implications this technology possesses. This research paper highlights the limitations, challenges, potential risks, and opportunities of GenAI in the domain of cybersecurity and privacy. The work presents the vulnerabilities of ChatGPT, which can be exploited by malicious users to exfiltrate malicious information bypassing the ethical constraints on the model. This paper demonstrates successful example attacks like Jailbreaks, reverse psychology, and prompt injection attacks on the ChatGPT. The paper also investigates how cyber offenders can use the GenAI tools in developing cyber attacks, and explore the scenarios where ChatGPT can be used by adversaries to create social engineering attacks, phishing attacks, automated hacking, attack payload generation, malware creation, and polymorphic malware. This paper then examines defense techniques and uses GenAI tools to improve security measures, including cyber defense automation, reporting, threat intelligence, secure code generation and detection, attack identification, developing ethical guidelines, incidence response plans, and malware detection. We will also discuss the social, legal, and ethical implications of ChatGPT. In conclusion, the paper highlights open challenges and future directions to make this GenAI secure, safe, trustworthy, and ethical as the community understands its cybersecurity impacts.

연구 동기 및 목표

• GenAI의 진화와 사이버보안 환경에 대한 개요 제공.
• ChatGPT를 대상으로 한 취약점과 공격 기법 식별(예: jailbreaking, 프롬프트 인젝션).
• 생성형 AI가 사이버 공격에 활용될 수 있는 방법 탐구(사회공학, 피싱, 자동화된 해킹, 악성 소프트웨어/코드 생성).
• GenAI를 활용한 방어 전략 논의(자동화, 위협 인텔리제스, 보안 코딩, 사건 대응).
• 사회적·법적·윤리적 함의를 검토하고 GenAI 시스템(ChatGPT 대 Bard)을 비교한다.

제안 방법

• 사이버보안에서의 GenAI 활용에 대한 기존 문헌과 사례를 검토하고 종합한다.
• ChatGPT 특정 취약점과 jailbreaking 기법(DAN, SWITCH, CHARACTER Play)을 분석한다.
• 사회공학, 피싱, 자동화된 해킹, 페이로드 및 악성코드/코드 생성 등 공격 시나리오를 시연한다.
• 위협 인텔리전스, 사건 대응, 보안 코딩에서 GenAI의 방어 응용을 논의한다.
• ChatGPT와 Google Bard의 보안 기능을 비교하고 열린 과제와 향후 방향을 제시한다.

실험 결과

연구 질문

• RQ1 공격적 관점과 방어적 관점 모두에서 GenAI가 사이버 보안과 프라이버시에 미치는 주요 방법은 무엇인가?
• RQ2 ChatGPT에 영향을 주는 취약점과 jailbreaking 기법은 무엇이며 공격자는 이를 어떻게 이용할 수 있는가?
• RQ3 GenAI를 사이버 방어(자동화, 위협 인텔리전스, 보안 코딩) 및 사건 대응 강화에 어떻게 활용할 수 있는가?
• RQ4 사이버 보안에서의 GenAI의 사회적, 법적, 윤리적 함의는 무엇이며 프라이버시 우려를 포함하는가?
• RQ5 보안 기능과 위험 측면에서 ChatGPT와 Google Bard를 어떻게 비교하는가?

주요 결과

• GenAI는 공격적·방어적 사이버보안 활용 사례를 모두 가능하게 하여 이중적 영향을 만든다.
• ChatGPT의 취약점에는 jailbreaking(DAN, SWITCH, CHARACTER Play), 역심리, 프롬프트 인젝션, ‘탈출’ 행위 등이 포함되어 방어 장치를 우회할 수 있다.
• GenAI로 가능해진 공격 시나리오는 사회공학, 스피어 피싱, 자동화된 해킹, 페이로드/악성코드/코드 생성, WAF 회피 등을 포함한다.
• GenAI는 위협 인텔리전스, 사건 대응 자동화, 안전한 코드 생성, 윤리 가이드라인 개발을 통해 방어를 강화할 수 있다.
• 본 논문은 사회적·법적·프라이버시 함의를 다루고 보안 기능 측면에서 ChatGPT와 Bard를 비교하며 열린 과제와 향후 방향을 제시한다.