[論文レビュー] Scamming the Scammers: Using ChatGPT to Reply Mails for Wasting Time and Resources

Enrico Cambiaso, Luca Caviglione|arXiv (Cornell University)|Feb 10, 2023

Spam and Phishing Detection被引用数 15

ひとこと要約

本論文は、詐欺メールに対する返信をChatGPTで生成して詐欺師の時間と資源を浪費させることを検討し、初期のテストベッドと複数のスレッドと日数にわたる関与の実現可能性を示す結果を提示します。

ABSTRACT

The use of Artificial Intelligence (AI) to support cybersecurity operations is now a consolidated practice, e.g., to detect malicious code or configure traffic filtering policies. The recent surge of AI, generative techniques and frameworks with efficient natural language processing capabilities dramatically magnifies the number of possible applications aimed at increasing the security of the Internet. Specifically, the ability of ChatGPT to produce textual contents while mimicking realistic human interactions can be used to mitigate the plague of emails containing scams. Therefore, this paper investigates the use of AI to engage scammers in automatized and pointless communications, with the goal of wasting both their time and resources. Preliminary results showcase that ChatGPT is able to decoy scammers, thus confirming that AI is an effective tool to counteract threats delivered via mail. In addition, we highlight the multitude of implications and open research questions to be addressed in the perspective of the ubiquitous adoption of AI.

研究の動機と目的

• メールベースの詐欺を緩和し資源の浪費を減らすためのAI活用を促進する。
• 詐欺師を無益な対話へ関与させるChatGPT生成返信の実現可能性を評価する。
• 詐欺のやり取りにおける関与の継続期間とメール量の予備的な定量評価を提供する。
• AI支援詐欺対策の未解決の研究課題と倫理的配慮を特定する。

提案手法

• 現実的なメールアカウントドメインを設定し、テスト期間の合計60日間にわたる受信メッセージを30日観察した。
• Office365の迷惑メールフィルターを使用して潜在的な詐欺師を特定し、テストセットとして手動で検証した。
• 詐欺師のメッセージ全文をChatGPTに入力して返信を生成し、ChatGPTをブラックボックス生成器として扱う。
• 個人情報の開示を避けつつ有益な返信を引き出すよう前置き文をプロンプトに追加し、会話を長引かせるために人間の応答遅延を模倣する。
• 前のメッセージを引用してChatGPT生成の内容を送信する形で詐欺師に返信する（実際にはChatGPTから送信せず、テキスト生成のみにAIを使用）。
• 詐欺師との関与を評価するためにスレッド長、メッセージ数、時間範囲を分析する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは詐欺メールに対して説得力があり文脈に適った返信を生成できるか。
• RQ2 時間の経過に伴いAI生成返信は詐欺師の関与をどの程度維持できるか（メッセージ数と継続期間の観点から）？
• RQ3 実運用に近い設定で詐欺師とAIを使ってやり取りする際の実践的な制約と運用上の考慮事項は何か？
• RQ4 AI活用の「詐欺師をだます」アプローチから浮かぶ倫理・プライバシー・セキュリティの課題は何か？

主な発見

• ChatGPTは複数のメッセージと日数にわたり詐欺師との会話を維持する返信を生成できる。
• 一部の詐欺スレッドは最大18通のAI生成メールと約27日間の対話が続いた。
• 外部要因で返信を止めた詐欺師も一部に見られたが、初期のやり取りの後も継続した例もあり、金銭や個人情報を要求するケースもあった。
• SMTPエラーと攻撃者の行動がスレッドの終了に影響し、現実のメール配送における制限を示した。
• 本研究はAIベースの詐欺対策に対処すべき多数の技術的・プライバシー・倫理の課題を浮き彫りにしている。
• 結果は予備的ですが、生成系AIを用いて詐欺師を惑わし攻撃者のリソースを浪費させる実現可能性を示している。