[論文レビュー] Targeted Phishing Campaigns using Large Scale Language Models

Rabimba Karanjai|arXiv (Cornell University)|Dec 30, 2022

Spam and Phishing Detection被引用数 20

ひとこと要約

本論文は、大規模言語モデルがフィッシングメールの生成において実現可能性と有効性を評価し、評価フレームワークを提案し、いくつかのモデルをベースライン手法と比較している。特定のLLMは説得力のあるフィッシングテキストを生成し、防御の一部を回避できる一方で、モデル依存性とデータ依存性の限界があると指摘している。

ABSTRACT

In this research, we aim to explore the potential of natural language models (NLMs) such as GPT-3 and GPT-2 to generate effective phishing emails. Phishing emails are fraudulent messages that aim to trick individuals into revealing sensitive information or taking actions that benefit the attackers. We propose a framework for evaluating the performance of NLMs in generating these types of emails based on various criteria, including the quality of the generated text, the ability to bypass spam filters, and the success rate of tricking individuals. Our evaluations show that NLMs are capable of generating phishing emails that are difficult to detect and that have a high success rate in tricking individuals, but their effectiveness varies based on the specific NLM and training data used. Our research indicates that NLMs could have a significant impact on the prevalence of phishing attacks and emphasizes the need for further study on the ethical and security implications of using NLMs for malicious purposes.

研究の動機と目的

• 大規模言語モデルを用いてフィッシングメールを生成することの実現可能性を評価する。
• テキスト品質、スパムフィルタの回避、攻撃者の成功指標を用いた評価フレームワークを開発する。
• 複数のLLM（例：GPT-2、GPT-3、OPT）を、フィッシングデータセット上でベースラインモデルと比較する。
• 訓練データとモデルの選択がフィッシングメールの現実味と検出可能性に与える影響を分析する。
• 悪意あるメール生成にLLMsを使用することの倫理とセキュリティへの影響を論じる。

提案手法

• テキスト品質、フィルタ回避、攻撃の成功を評価するためのフレームワークを構築する。
• 正当なメールと悪質なメールを混在させたデータセットで、様々なLLMを訓練・評価する。
• 個人情報を削除し、内容を標準化するためにデータを前処理する。
• プロンプトを用いてメールを生成し、トークン確率、ランク、文脈エントロピーを分析する。
• 出力をベースラインモデルおよび実際のフィッシングサンプルと比較する。
• 選択したモデルの訓練パラメータを文書化し、定性的な例を報告する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、既存の防御によって検出されにくいフィッシングメールを生成できるか？
• RQ2 モデルの選択（GPT-2、GPT-3、OPT など）と訓練データは、フィッシングメールの現実味と成功率にどのように影響するか？
• RQ3 フィッシングを研究・検出するためにNLMを使用する際の制限と倫理的配慮は何か？
• RQ4 生成されたメールは生産レベルのメール保護機構をどの程度回避できるか？
• RQ5 NLM生成のフィッシングコンテンツによるリスクを軽減する戦略は何か？

主な発見

• LLMsは検出が難しく、適切なプロンプトを与えれば見かけ上の信憑性が高いフィッシングメールを生成できる。
• 性能は特定のモデルと使用された訓練データに依存し、アーキテクチャとデータセット間でばらつきを示す。
• GPT-3および関連する大規模モデルは、ガードレールがある状態でも、説得力のあるターゲット型メールを生成する顕著な潜在能力を示す。
• モデル選択とデータ品質に依存する明確な有効性の限界があり、微妙な脅威の動向を示している。
• 本研究は倫理とセキュリティ上の懸念を強調し、検知と防御フレームワークの改善の必要性を指摘している。