[論文レビュー] Automated email Generation for Targeted Attacks using Natural Language

Avisha Das, Rakesh Verma|arXiv (Cornell University)|Aug 19, 2019

Spam and Phishing Detection参考文献 19被引用数 14

ひとこと要約

本稿では、再帰ニューラルネットワーク（RNN）を用いた深層学習ベースのシステムを提案する。このシステムは、正当な文章スタイルを模倣することで、統計的メール検出器を回避することを目的とした標的型悪意あるメールを自動生成する。混合された正当およびフィッシングメールデータセット上で微調整することで、より高い欺瞞的成功を達成し、RNNで生成されたメールが標準的なスパムフィルタを著しく誤検出率を伴って回避できることを示している。

ABSTRACT

With an increasing number of malicious attacks, the number of people and organizations falling prey to social engineering attacks is proliferating. Despite considerable research in mitigation systems, attackers continually improve their modus operandi by using sophisticated machine learning, natural language processing techniques with an intent to launch successful targeted attacks aimed at deceiving detection mechanisms as well as the victims. We propose a system for advanced email masquerading attacks using Natural Language Generation (NLG) techniques. Using legitimate as well as an influx of varying malicious content, the proposed deep learning system generates extit{fake} emails with malicious content, customized depending on the attacker's intent. The system leverages Recurrent Neural Networks (RNNs) for automated text generation. We also focus on the performance of the generated emails in defeating statistical detectors, and compare and analyze the emails using a proposed baseline.

研究の動機と目的

• 深層学習を用いた標的型悪意あるメールの自動生成の可能性を検討すること。
• 正当およびフィッシングメールデータの混合データセット上で微調整することで、一貫性があり意図に特化した偽メールを生成するシステムを開発すること。
• 生成されたメールが事前に学習された統計的メール分類器を回避する効果を評価すること。
• 提案されたRNNベースのシステムとベースラインのNLGツール（Dada Engine）との性能を比較すること。
• 合成された人間らしさのあるフィッシングコンテンツにさらされた検出システムにおける失敗モードと誤検出パターンを分析すること。

提案手法

• システムは、トレーニングデータから学習したパターンに基づき、順序付きテキストを生成するため、再帰的ニューラルネットワーク（RNN）、特に長短期記憶（LSTM）ネットワークを採用する。
• 出力の多様性と一貫性のバランスを図るため、温度ハイパーパrameterを用いてテキスト生成を制御する。
• 悪意ある意図を埋め込みつつスタイルの類似性を維持するため、50％正当および50％フィッシングメールから成る混合データセット上でモデルを微調整する。
• 生成メールの品質と検出可能性を比較評価するために、Dada Engineを用いたベースラインシステムを採用する。
• 検出には、過去のフィッシングパターンに基づいて学習されたサポートベクターマシン（SVM）ベースのスパム分類器を用いる。
• 誤り分析では、繰り返し発生するテキスト生成や、リンクが通常とは異なる位置に配置された場合に悪意あるメールが正当と誤検出される傾向に注目する。

実験結果

リサーチクエスチョン

• RQ1 RNNベースのテキスト生成は、一貫性があり、正当なメールとスタイルが類似した標的型悪意あるメールを生成できるか？
• RQ2 RNNで生成されたメールは、歴史的フィッシングパターンに基づいて学習された統計的分類器をどの程度回避できるか？
• RQ3 RNNシステムの性能は、ルールベースのNLGベースライン（Dada Engine）と比較して、欺瞞性と検出可能性の観点でどのように異なるか？
• RQ4 リンクの配置や言語的特徴は、自動検出器による悪意あるメールの誤検出にどのような役割を果たすか？
• RQ5 RNNで生成されたメールにおける主な失敗モードは何か。また、それらは検出回避にどのように影響するか？

主な発見

• RNNベースのシステムは、一貫性のある構造と悪意ある意図を内包したメールを生成できたが、一部の出力には文法的誤りや繰り返し表現が見られた。
• SVMベースの検出器によって、多数のRNN生成メールが正当と誤検出された。これは、統計的分類を効果的に回避できたことを示している。
• リンクが文の途中に挿入されるなど、伝統的な配置とは異なる配置のメールは、悪意あるコンテンツを含んでも検出を回避しやすかった。
• 50％のフィッシングデータを含む混合データセットで学習したモデルは、Dada Engineベースラインと比較して、より洗練された自然な文章パターンを模倣でき、欺瞞性が高かった。
• 繰り返し発生するテキスト生成、特に「<NET>」や「ECT」のような繰り返しタグは一般的な欠陥であり、モデルの制限やトレーニングデータの少なさが原因とされる。
• 完璧ではないが、このシステムは深層学習で生成されたメールが既存の検出メカニズムを回避できることを示しており、自然言語処理を用いたサイバー攻撃における脅威が高まっていることを強く示唆している。