[論文レビュー] Devising and Detecting Phishing: Large Language Models vs. Smaller Human Models

Fredrik Heiding, Bruce Schneier+3 more|arXiv (Cornell University)|Aug 23, 2023

Spam and Phishing Detection被引用数 14

ひとこと要約

この論文はGPT-4と人間のV-Triadモデルによるフィッシングメールの品質を比較し、フィッシング意図を検知する4つのLLMを評価し、AI搭載フィッシングの経済分析を行う。

ABSTRACT

AI programs, built using large language models, make it possible to automatically create phishing emails based on a few data points about a user. They stand in contrast to traditional phishing emails that hackers manually design using general rules gleaned from experience. The V-Triad is an advanced set of rules for manually designing phishing emails to exploit our cognitive heuristics and biases. In this study, we compare the performance of phishing emails created automatically by GPT-4 and manually using the V-Triad. We also combine GPT-4 with the V-Triad to assess their combined potential. A fourth group, exposed to generic phishing emails, was our control group. We utilized a factorial approach, sending emails to 112 randomly selected participants recruited for the study. The control group emails received a click-through rate between 19-28%, the GPT-generated emails 30-44%, emails generated by the V-Triad 69-79%, and emails generated by GPT and the V-Triad 43-81%. Each participant was asked to explain why they pressed or did not press a link in the email. These answers often contradict each other, highlighting the need for personalized content. The cues that make one person avoid phishing emails make another person fall for them. Next, we used four popular large language models (GPT, Claude, PaLM, and LLaMA) to detect the intention of phishing emails and compare the results to human detection. The language models demonstrated a strong ability to detect malicious intent, even in non-obvious phishing emails. They sometimes surpassed human detection, although often being slightly less accurate than humans. Finally, we make an analysis of the economic aspects of AI-enabled phishing attacks, showing how large language models can increase the incentives of phishing and spear phishing by reducing their costs.

研究の動機と目的

• 自動生成されたフィッシングメール（GPT-4）と手動作成のメール（V-Triad）の有効性を比較する。
• GPT-4とV-Triadを組み合わせるとフィッシングの質と作成速度が改善されるか。
• 複数のLLM（GPT, Claude, PaLM, LLaMA）を用いてフィッシング意図を検知し、リスク低減の指針を提供できるかを評価する。
• AI搭載フィッシング攻撃の経済的影響を検討する。

提案手法

• 個別の背景データを収集し、個別化されたフィッシングメールを作成するために112名の参加者を募集する。
• 4つの方法でフィッシングメールを作成する：control（任意）, GPT-4, V-Triad, および GPT-4 + V-Triad。
• メールをバッチで送信しクリック率を測定する；その後、参加者に事後インタビューを行う。
• リンクをクリックした理由またはクリックしなかった理由を分析するために、参加者に理由を尋ねる。
• 4つのLLM（GPT, Claude, Bard, LLaMA）を使ってフィッシング意図を検知し、人間の検知と比較する。
• 伝統的、スピア、AI強化フィッシングの攻撃者視点からの費用対効果分析を行う。

実験結果

リサーチクエスチョン

• RQ1 GPT-4 生成のフィッシングメールはV-Triad生成のメールと比較してクリック率の点でどうか？
• RQ2 GPT-4とV-Triadを組み合わせるとフィッシングの有効性が向上するか、また作成時間を短縮できるか？
• RQ3 LLMはヒトよりもフィッシング意図をより正確に検知できるか、メールのカテゴリ別のパフォーマンスはどうか？
• RQ4 AI搭載フィッシングと従来の手法の経済的動機とコストは？

主な発見

• Control emails yielded a click-through rate of 19-28%.
• GPT-4 generated emails yielded 30-44% CTR.
• V-Triad generated emails yielded 69-79% CTR.
• GPT+V-Triad emails yielded 43-81% CTR.
• Claude detected malicious intent for control emails at 75%, GPT at 25%, and GPT+V-Triad at 25% before priming for suspicion; after priming, Claude detected 75% (control), 100% (GPT), 100% (V-Triad), and 100% (GPT+V-Triad).
• LLMs showed strong capability to detect malicious intent, sometimes surpassing humans, though results vary with prompting and model.