[論文レビュー] Spear Phishing With Large Language Models

Julian Hazell|arXiv (Cornell University)|May 11, 2023

Adversarial Robustness in Machine Learning被引用数 28

ひとこと要約

この論文は、大規模言語モデルがスピアフィッシングを支援できることを示し、現実的で低コストなメッセージを生成し、600人以上の英国議員を対象に実証し、安全対策と防御について論じている。

ABSTRACT

Recent progress in artificial intelligence (AI), particularly in the domain of large language models (LLMs), has resulted in powerful and versatile dual-use systems. This intelligence can be put towards a wide variety of beneficial tasks, yet it can also be used to cause harm. This study explores one such harm by examining how LLMs can be used for spear phishing, a form of cybercrime that involves manipulating targets into divulging sensitive information. I first explore LLMs' ability to assist with the reconnaissance and message generation stages of a spear phishing attack, where I find that LLMs are capable of assisting with the email generation phase of a spear phishing attack. To explore how LLMs could potentially be harnessed to scale spear phishing campaigns, I then create unique spear phishing messages for over 600 British Members of Parliament using OpenAI's GPT-3.5 and GPT-4 models. My findings provide some evidence that these messages are not only realistic but also cost-effective, with each email costing only a fraction of a cent to generate. Next, I demonstrate how basic prompt engineering can circumvent safeguards installed in LLMs, highlighting the need for further research into robust interventions that can help prevent models from being misused. To further address these evolving risks, I explore two potential solutions: structured access schemes, such as application programming interfaces, and LLM-based defensive systems.

研究の動機と目的

• LLMs がスピアフィッシングにおける偵察およびメール生成を支援できるかを評価する。
• 大規模なターゲット集合に対してメッセージを生成することによって、LLM支援スピアフィッシングの拡張性とコスト影響を示す。
• 悪用の理解と必要な介入のために、セーフガードとプロンプトエンジニアリングを評価する。
• 構造化アクセスや防御的なLLMシステムを含む潜在的な防御戦略を検討する。）
• method: [
• レビュー recent LLM capabilities for reconnaissance and message drafting in phishing contexts.
• Generate spear phishing emails using OpenAI GPT-3.5 and GPT-4 to create messages targeting over 600 British MPs.
• Analyze realism and cost by evaluating the content quality and per-email generation cost (fraction of a cent).
• Demonstrate how basic prompt engineering can bypass LLM safeguards.
• Discuss two defense approaches: structured access schemes (e.g., APIs) and LLM-based defensive systems.

提案手法

• レビュー recent LLM capabilities for reconnaissance and message drafting in phishing contexts.
• Generate spear phishing emails using OpenAI GPT-3.5 and GPT-4 to create messages targeting over 600 British MPs.
• Analyze realism and cost by evaluating the content quality and per-email generation cost (fraction of a cent).
• Demonstrate how basic prompt engineering can bypass LLM safeguards.
• Discuss two defense approaches: structured access schemes (e.g., APIs) and LLM-based defensive systems.

実験結果

リサーチクエスチョン

• RQ1 LLMs は偵察およびスピアフィッシングメールの生成を支援できますか？
• RQ2 LLM生成のスピアフィッシングメッセージは大規模で現実的かつコスト効果が高いですか？
• RQ3 プロンプトエンジニアリングはどの程度LLMのセーフガードを回避できますか？
• RQ4 LLMのスピアフィッシングの悪用を緩和する防御戦略にはどのようなものがありますか？

主な発見

• LLMs はスピアフィッシングのメール生成段階を支援する能力がある。
• 議員を対象としたLLM生成メッセージは現実的であり、1通あたりのコストは100分の1セント未満で生産できる。
• 本研究はGPT-3.5とGPT-4を用いて、600名を超える英国議員向けのユニークなスピアフィッシングメッセージを作成した。
• 基本的なプロンプトエンジニアリングは、LLMに組み込まれたセーフガードを回避できる。
• 構造化アクセススキームやLLMベースの防御システムを含む堅牢な介入が必要である。