[論文レビュー] Building an Effective Email Spam Classification Model with spaCy

Kazem Taghandiki|arXiv (Cornell University)|Mar 15, 2023

Spam and Phishing Detection被引用数 4

ひとこと要約

この論文では、NLPの前処理にspaCyを用い、1,500通のGmailメールから構成されるデータセットを対象に、ナイーブベイズ、決定木C45、マルチレイヤーパーセプトロン（MLP）の3つの機械学習モデルを用いたスパムメール検出システムを提案している。MLPモデルは96%の最高精度を達成し、高い正確性（97%）とF1スコア（96%）を示しており、スパムメールと正当なメールを高精度で分類する有効性が裏付けられている。

ABSTRACT

Today, people use email services such as Gmail, Outlook, AOL Mail, etc. to communicate with each other as quickly as possible to send information and official letters. Spam or junk mail is a major challenge to this type of communication, usually sent by botnets with the aim of advertising, harming and stealing information in bulk to different people. Receiving unwanted spam emails on a daily basis fills up the inbox folder. Therefore, spam detection is a fundamental challenge, so far many works have been done to detect spam using clustering and text categorisation methods. In this article, the author has used the spaCy natural language processing library and 3 machine learning (ML) algorithms Naive Bayes (NB), Decision Tree C45 and Multilayer Perceptron (MLP) in the Python programming language to detect spam emails collected from the Gmail service. Observations show the accuracy rate (96%) of the Multilayer Perceptron (MLP) algorithm in spam detection.

研究の動機と目的

• ユーザーのセキュリティと受信トレイの整合性を損なうスパムメールの増加という課題に対処すること。
• 現代的なNLP技術を活用した、信頼性の高いテキスト分類パイプラインを構築し、効果的なスパム検出を実現すること。
• 実世界のメールデータセットを用いて、ナイーブベイズ、決定木C45、マルチレイヤーパーセプトロンの性能を評価・比較すること。
• spaCyが、後続の機械学習タスクのためのメール本文の前処理に果たす役割の有効性を示すこと。
• 自動スパムフィルタリングを実現する高精度でスケーラブルなソリューションを提供すること。

提案手法

• Gmailから1,500通のメールサンプル（学習用に1,125通、テスト用に375通）を収集し、スパムまたは正当なメールとしてラベル付けした。
• テキスト前処理として、spaCyを用い、トークン化、語形還元、ストップワードの削除、品詞タグ付けを実施した。
• scikit-learnの実装を用いて、ナイーブベイズ、決定木C45、マルチレイヤーパーセプトロンのモデルを学習した。
• メール本文から抽出した前処理済み特徴量を、bag-of-wordsや類似のベクトル化手法を用いて特徴量に変換し、モデルを学習した。
• テストセット上で、標準的な指標（正確性、適合率、再現率、F1スコア）を用いてモデルを評価した。
• モデルの成績を比較するために、混同行列とパフォーマンス可視化を用いた。

Figure 1: Implementation process of the proposed approach

実験結果

リサーチクエスチョン

• RQ1 spaCyを用いたテキスト前処理は、スパムメール分類における機械学習モデルの性能を顕著に向上させるか？
• RQ2 実際のGmailデータセット上で、ナイーブベイズ、決定木C45、マルチレイヤーパーセプトロンは、スパムメールと正当なメールを分類する際にどのように比較されるか？
• RQ3 従来の機械学習モデルを用いたスパム検出において、適合率、再現率、正確性の最適なバランスは何か？
• RQ4 機械学習アルゴリズムの選択が、悪意あるまたはだましのメールコンテンツの検出にどの程度影響を与えるか？
• RQ5 この特定のスパム分類タスクにおいて、マルチレイヤーパーセプトロンはナイーブベイズや決定木といった単純なモデルを上回る性能を示せるか？

主な発見

• マルチレイヤーパーセプトロン（MLP）モデルは、スパムメール分類において96%の最高正確性を達成した。
• MLPモデルは適合率97%、F1スコア96%を記録し、誤検出（偽陽性）を最小限に抑えつつ、適合率と再現率のバランスを良好に保っていることが示された。
• 決定木C45モデルは最高の再現率（95%）を達成しており、他のモデルと比較して実際にスパムとされたインスタンスをよりよく検出できていることが示された。
• ナイーブベイズは、MLPと比較して正確性とF1スコアが低く、メール本文の複雑なパターンを捉える能力に限界があることが示された。
• 語形還元、ストップワードの削除、トークン化を含む、spaCyによる前処理の活用が、すべてのアルゴリズムにおいてモデル性能の向上に顕著に寄与した。
• 混同行列の結果、MLPは誤分類されたインスタンスが最も少なく、特に偽陰性を大幅に削減していた。

Figure 2: Tokenisation pre-processing