[논문 리뷰] Devising and Detecting Phishing: Large Language Models vs. Smaller Human Models

Fredrik Heiding, Bruce Schneier외 3명|arXiv (Cornell University)|2023. 08. 23.

Spam and Phishing Detection인용 수 14

한 줄 요약

이 논문은 GPT-4와 인간 V-Triad 모델의 피싱 이메일 품질을 비교하고 피싱 의도 탐지를 위한 네 가지 LLM을 평가하며, AI 기반 피싱의 경제 분석을 제시합니다.

ABSTRACT

AI programs, built using large language models, make it possible to automatically create phishing emails based on a few data points about a user. They stand in contrast to traditional phishing emails that hackers manually design using general rules gleaned from experience. The V-Triad is an advanced set of rules for manually designing phishing emails to exploit our cognitive heuristics and biases. In this study, we compare the performance of phishing emails created automatically by GPT-4 and manually using the V-Triad. We also combine GPT-4 with the V-Triad to assess their combined potential. A fourth group, exposed to generic phishing emails, was our control group. We utilized a factorial approach, sending emails to 112 randomly selected participants recruited for the study. The control group emails received a click-through rate between 19-28%, the GPT-generated emails 30-44%, emails generated by the V-Triad 69-79%, and emails generated by GPT and the V-Triad 43-81%. Each participant was asked to explain why they pressed or did not press a link in the email. These answers often contradict each other, highlighting the need for personalized content. The cues that make one person avoid phishing emails make another person fall for them. Next, we used four popular large language models (GPT, Claude, PaLM, and LLaMA) to detect the intention of phishing emails and compare the results to human detection. The language models demonstrated a strong ability to detect malicious intent, even in non-obvious phishing emails. They sometimes surpassed human detection, although often being slightly less accurate than humans. Finally, we make an analysis of the economic aspects of AI-enabled phishing attacks, showing how large language models can increase the incentives of phishing and spear phishing by reducing their costs.

연구 동기 및 목표

• 자동으로 생성된 피싱 이메일(GPT-4)이 수동으로 작성된 이메일(V-Triad)과 비교했을 때 효과성 측면에서 어떤 차이가 있는지 평가한다.
• GPT-4를 V-Triad와 결합하면 피싱 품질과 속도가 향상되는지 여부를 평가한다.
• 여러 LLM(GPT, Claude, PaLM, LLaMA)을 피싱 의도 탐지 및 위험 축소 가이드 제공에 대해 테스트한다.
• AI 기반 피싱 공격의 경제적 함의를 검토한다.

제안 방법

• 피험자 112명을 모집하고 피싱 이메일을 개인별 배경 데이터로 맞춤화하기 위한 정보를 수집한다.
• 네 가지 방법으로 피싱 이메일을 생성한다: 제어(임의), GPT-4, V-Triad, 그리고 GPT-4 + V-Triad.
• 이메일을 배치로 발송하고 클릭률(CTR)을 측정한다; 연구 종료 후 참가자들을 브리핑한다.
• 참가자들에게 왜 링크를 클릭했는지 또는 클릭하지 않았는지에 대해 질문하여 취약성을 분석한다.
• 네 가지 LLM(GPT, Claude, Bard, LLaMA)을 사용해 피싱 의도를 탐지하고 인간 탐지와 비교한다.
• 전통적, 스피어(sp,aer) 및 AI-강화 피싱에 대해 공격자 관점에서의 경제 비용-편익 분석을 수행한다.

실험 결과

연구 질문

• RQ1 GPT-4로 생성된 피싱 이메일이 V-Triad로 생성된 이메일에 비해 클릭률에서 어떻게 비교되는가?
• RQ2 GPT-4를 V-Triad와 함께 결합하면 피싱 효과가 향상되거나 제작 시간이 단축되는가?
• RQ3 LLMs가 인간보다 피싱 의도를 더 정확하게 탐지할 수 있는가, 그리고 이메일 범주에 따라 성능은 어떠한가?
• RQ4 AI 기반 피싱과 전통적 방법의 경제적 인센티브와 비용은 무엇인가?

주요 결과

• 제어 이메일의 클릭률은 19-28%였다.
• GPT-4로 생성된 이메일의 CTR은 30-44%였다.
• V-Triad로 생성된 이메일의 CTR은 69-79%였다.
• GPT+V-Triad 이메일의 CTR은 43-81%였다.
• 클로드(Claude)는 제어 이메일의 악의적 의도를 75%, GPT는 25%, GPT+V-Triad는 25%를 탐지하기 시작했고, 선제 의심 주입 후에는 Claude가 75%(제어), 100%(GPT), 100%(V-Triad), 100%(GPT+V-Triad)을 탐지했다.
• LLMs는 악의적 의도 탐지에 강한 역량을 보였으며 때로는 인간을 능가하기도 했으나, 프롬프트 및 모델에 따라 결과가 달랐다.