[論文レビュー] Digital Deception: Generative Artificial Intelligence in Social Engineering and Phishing

Marc Schmitt, Ivan Fléchais|arXiv (Cornell University)|Oct 15, 2023

Advanced Malware Detection Techniques被引用数 9

ひとこと要約

本論文は、生成AIがソーシャルエンジニアリングとフィッシングをどのように変革するかを検討し、リスクと対策を研究するための Generative AI Social Engineering Framework を提案する。

ABSTRACT

The advancement of Artificial Intelligence (AI) and Machine Learning (ML) has profound implications for both the utility and security of our digital interactions. This paper investigates the transformative role of Generative AI in Social Engineering (SE) attacks. We conduct a systematic review of social engineering and AI capabilities and use a theory of social engineering to identify three pillars where Generative AI amplifies the impact of SE attacks: Realistic Content Creation, Advanced Targeting and Personalization, and Automated Attack Infrastructure. We integrate these elements into a conceptual model designed to investigate the complex nature of AI-driven SE attacks - the Generative AI Social Engineering Framework. We further explore human implications and potential countermeasures to mitigate these risks. Our study aims to foster a deeper understanding of the risks, human implications, and countermeasures associated with this emerging paradigm, thereby contributing to a more secure and trustworthy human-computer interaction.

研究の動機と目的

• AI対応のソーシャルエンジニアリング脅威とそのセキュリティへの影響の理解を喚起する。
• ソーシャルエンジニアリングの能力とAIの進展を体系的にレビューする。
• 生成AIがSE攻撃をどのように増幅させるかを特定し、それらを研究するためのフレームワークを提案する。
• リスクを低減するための人間要因と潜在的な対策を強調する。

提案手法

• ソーシャルエンジニアリングとAIの能力を体系的にレビューする。
• 生成AIがSEを増幅させる3つの柱を特定する：Realistic Content Creation, Advanced Targeting and Personalization, Automated Attack Infrastructure.
• これらの柱を Generative AI Social Engineering Framework に概念モデルとして統合する。
• AI駆動のSEリスクを緩和するための人間への影響と潜在的な対策を探る。
• 安全で信頼できる人間とコンピューターの相互作用に資するよう、所見を整理する。

実験結果

リサーチクエスチョン

• RQ1 生成AIはソーシャルエンジニアリング攻撃の効果をどのように増幅させるのか？
• RQ2 生成AIがSE活動を強化する3つの柱は何か？
• RQ3 概念フレームワークがこれらのAI駆動SE機構をどのようにモデル化・整理できるか？
• RQ4 AI対応のSEとフィッシングのリスクを緩和するための対策と人間要因は何か？

主な発見

• 生成AIは3つの特定された柱を介してSE攻撃を増幅する：現実的なコンテンツ作成、高度なターゲティングとパーソナライズ化、自動化された攻撃インフラ。
• AI駆動のSE攻撃の複雑な性質を調査するために、Generative AI Social Engineering Framework という概念モデルが提案されている。
• 本研究は人間への影響とこれらのリスクを緩和する潜在的な対策について論じる。
• 本研究はセキュアで信頼できる人間-コンピュータ相互作用を支援するためのリスクと対策の理解を促進することを目的とする。
• 本論文は CHI 2024 への位置づけであり、AI対応のセキュリティと社会における文献へ貢献する。