[논문 리뷰] Spear Phishing With Large Language Models

Julian Hazell|arXiv (Cornell University)|2023. 05. 11.

Adversarial Robustness in Machine Learning인용 수 28

한 줄 요약

이 논문은 대형 언어 모델이 스피어 피싱을 보조할 수 있으며, 현실적이고 저비용의 메시지를 생성하고 이를 600명이 넘는 British MPs를 대상으로 시연했으며, 안전장치와 방어책을 논의한다.

ABSTRACT

Recent progress in artificial intelligence (AI), particularly in the domain of large language models (LLMs), has resulted in powerful and versatile dual-use systems. This intelligence can be put towards a wide variety of beneficial tasks, yet it can also be used to cause harm. This study explores one such harm by examining how LLMs can be used for spear phishing, a form of cybercrime that involves manipulating targets into divulging sensitive information. I first explore LLMs' ability to assist with the reconnaissance and message generation stages of a spear phishing attack, where I find that LLMs are capable of assisting with the email generation phase of a spear phishing attack. To explore how LLMs could potentially be harnessed to scale spear phishing campaigns, I then create unique spear phishing messages for over 600 British Members of Parliament using OpenAI's GPT-3.5 and GPT-4 models. My findings provide some evidence that these messages are not only realistic but also cost-effective, with each email costing only a fraction of a cent to generate. Next, I demonstrate how basic prompt engineering can circumvent safeguards installed in LLMs, highlighting the need for further research into robust interventions that can help prevent models from being misused. To further address these evolving risks, I explore two potential solutions: structured access schemes, such as application programming interfaces, and LLM-based defensive systems.

연구 동기 및 목표

• LLMs가 정통 피싱에서 정찰 및 이메일 생성에 도움을 줄 수 있는지 평가한다.
• 대규모 대상 집합에 대한 메시지를 생성하여 LLM-지원 스피어 피싱의 확장성과 비용 시사점을 시연한다.
• 오용을 이해하고 필요한 개입을 파악하기 위한 안전장치와 프롬프트 엔지니어링을 평가한다.
• 구조화된 접근 방식과 방어적 LLM 시스템을 포함한 잠재적 방어 전략을 논의한다.

제안 방법

• 피싱 맥락에서 정찰 및 메시지 초안 작성에 대한 최근 LLM 능력을 검토한다.
• OpenAI GPT-3.5 및 GPT-4를 사용하여 600명이 넘는 British MPs를 대상으로 메시지를 생성하는 spear phishing 이메일을 생성한다.
• 콘텐츠 품질과 이메일당 생성 비용(센트의 일부)을 평가하여 현실성과 비용을 분석한다.
• 기본 프롬프트 엔지니어링이 LLM의 안전장치를 우회할 수 있는 방법을 시연한다.
• 두 가지 방어 접근법: 구조화된 접근 스킴(예: API)과 LLM 기반 방어 시스템에 대해 논의한다.

실험 결과

연구 질문

• RQ1 LLMs가 정찰 및 스피어 피싱 이메일 생성에 도움을 줄 수 있는가?
• RQ2 확대된 규모에서 LLM이 생성한 스피어 피싱 메시지는 현실적이고 비용 효율적인가?
• RQ3 프롬프트 엔지니어링이 LLM의 안전장치를 어느 정도 우회할 수 있는가?
• RQ4 스피어 피싱을 위한 LLM 오용을 완화할 수 있는 방어 전략은 무엇인가?

주요 결과

• LLMs는 스피어 피싱의 이메일 생성 단계에 도움을 줄 수 있다.
• LLM 생성 메시지는 현실적이며 이메일당 비용이 몇 분의 센트에 불과하게 생성될 수 있다.
• 본 연구는 GPT-3.5 및 GPT-4를 사용하여 600명이 넘는 British MPs를 대상으로 고유한 스피어 피싱 메시지를 생성했다.
• 기본 프롬프트 엔지니어링이 LLM에 설치된 안전장치를 우회할 수 있다.
• 구조화된 접근 방식과 LLM 기반 방어 시스템을 포함한 강력한 개입이 필요하다.