[論文レビュー] Anomaly Detection in Emails using Machine Learning and Header Information

Craig Beaman, Haruna Isah|arXiv (Cornell University)|Mar 19, 2022

Spam and Phishing Detection被引用数 4

ひとこと要約

本稿では、コンテンツ分析に依存せずにメールヘッダ情報のみを用いてフィッシングおよびスパムメールを検出する機械学習手法を提案する。スパム検出では99%、フィッシング検出では97%の精度を達成しており、ランダムフォレストやSVMといった教師ありモデルに加え、ワンクラスSVMの性能も優れている。これは、ヘッダ情報のみで実世界のフィルタリングシステムにおいて高精度な異常検出が可能であることを示している。

ABSTRACT

Anomalies in emails such as phishing and spam present major security risks such as the loss of privacy, money, and brand reputation to both individuals and organizations. Previous studies on email anomaly detection relied on a single type of anomaly and the analysis of the email body and subject content. A drawback of this approach is that it takes into account the written language of the email content. To overcome this deficit, this study conducted feature extraction and selection on email header datasets and leveraged both multi and one-class anomaly detection approaches. Experimental analysis results obtained demonstrate that email header information only is enough to reliably detect spam and phishing emails. Supervised learning algorithms such as Random Forest, SVM, MLP, KNN, and their stacked ensembles were found to be very successful, achieving high accuracy scores of 97% for phishing and 99% for spam emails. One-class classification with One-Class SVM achieved accuracy scores of 87% and 89% with spam and phishing emails, respectively. Real-world email filtering applications will benefit from the use of only the header information in terms of resources utilization and efficiency.

研究の動機と目的

• 従来のメール異常検出手法がメール本文や件名のコンテンツにのみ依存するため、言語ベースの回避攻撃に対して脆弱であるという問題を是正すること。
• メールヘッダ情報のみでスパムおよびフィッシングの異常を効果的に検出できるかどうかを調査すること。
• マルチクラスおよびワンクラスの機械学習モデルを用いて、ヘッダ特徴量のみで異常検出を行う際の性能を比較すること。
• コンテンツ分析を回避することで計算オーバーヘッドを低減する、軽量で効率的なメールフィルタリングソリューションの開発

提案手法

• 送信者、受信者、タイムスタンプ、ルーティング情報などのメタデータに注目し、メールヘッダデータセットから関連する特徴量を抽出・選択した。
• ランダムフォレスト、SVM、MLP、KNN、ワンクラスSVMを含む、マルチクラスおよびワンクラスの異常検出技術を適用した。
• 多様なメールヘッダパターンにわたる一般化性と耐障害性を向上させるために、スタッキングアンサンブルモデルを用いた。
• 次元削減を図りながら検出精度を維持するため、特徴量選択を実施した。
• 標準的な指標（精度など）を用いてモデルを評価し、実世界での適用可能性と低リソース消費を重視した。
• 実世界のメールヘッダデータを用いて結果を検証し、実用的意義およびスケーラビリティを確認した。

実験結果

リサーチクエスチョン

• RQ1 コンテンツ分析を一切行わない場合でも、メールヘッダ情報のみでスパムおよびフィッシングメールの高精度な検出が可能か？
• RQ2 マルチクラスおよびワンクラスの機械学習モデルは、メールヘッダのみを用いて異常検出する際、性能でどのように差がでるか？
• RQ3 ヘッダメタデータにのみトレーニングされた場合、どの教師あり学習アルゴリズムが最高の検出精度を達成するか？
• RQ4 ワンクラス分類モデルは、ヘッダデータのみを用いて、未知または未観測のフィッシング／スパムパターンをどの程度検出できるか？
• RQ5 コンテンツベースの検出システムと比較して、本手法の効率性およびリソース使用量はどの程度か？

主な発見

• 教師あり学習モデルは、メールヘッダ情報のみを用いてスパムメール検出で99％、フィッシングメール検出で97％の精度を達成した。
• ワンクラスSVMは、フィッシング検出で89％、スパム検出で87％の精度を示し、教師なし異常検出の場面でも優れた性能を発揮した。
• コンテンツ分析を一切行わず、ヘッダデータのみで十分にスパムおよびフィッシングの異常を検出可能であり、コンテンツ分析の必要性がなくなることが確認された。
• ランダムフォレスト、SVM、MLPのスタッキングアンサンブルモデルは、個々のモデルを上回る性能を示し、より高い耐障害性と一般化能力が得られた。
• 計算オーバーヘッドとリソース消費が顕著に低減され、リアルタイムのメールフィルタリングアプリケーションに適していることがわかった。
• 特徴量選択により、検出精度を損なわずモデルの効率性が向上した。これにより、選択されたヘッダ特徴量の妥当性が裏付けられた。