[論文レビュー] An Empirical Analysis of SMS Scam Detection Systems

Muhammad Salman, Muhammad Ikram+1 more|arXiv (Cornell University)|Oct 19, 2022

Spam and Phishing Detection被引用数 10

ひとこと要約

本稿では、153,551通のSMSスパムメッセージを含む、公開済みで最大のSMSスパムデータセットを紹介し、浅層学習、深層学習、ワンクラス学習、PU学習を含む幅広い機械学習モデルの性能を評価している。主な発見として、トランスフォーマーに基づくモデルは優れた耐性を示し、fastTextは速度と性能のバランスに優れていることが判明した。また、進化するスパム戦術に対抗するため、敵対的学習と共同検出フレームワークの導入が不可欠であることが強調された。

ABSTRACT

The short message service (SMS) was introduced a generation ago to the mobile phone users. They make up the world's oldest large-scale network, with billions of users and therefore attracts a lot of fraud. Due to the convergence of mobile network with internet, SMS based scams can potentially compromise the security of internet services as well. In this study, we present a new SMS scam dataset consisting of 153,551 SMSes. This dataset that we will release publicly for research purposes represents the largest publicly-available SMS scam dataset. We evaluate and compare the performance achieved by several established machine learning methods on the new dataset, ranging from shallow machine learning approaches to deep neural networks to syntactic and semantic feature models. We then study the existing models from an adversarial viewpoint by assessing its robustness against different level of adversarial manipulation. This perspective consolidates the current state of the art in SMS Spam filtering, highlights the limitations and the opportunities to improve the existing approaches.

研究の動機と目的

• 現在のスパムトレンドを反映した、大規模かつ最新で公開可能なSMSスパムデータセットが不足しているという問題に対処すること。
• 新しく収集した大規模なSMSスパムデータセットを用いて、深層学習、ワンクラス学習、PU学習を含む多様な機械学習アプローチを評価・比較すること。
• 実際のスパマーの回避戦術を模倣した敵対的摂動に対して、既存のSMSスパム検出モデルの耐性を評価すること。
• 過去の研究における方法論的ギャップ（例：古くなったデータセットへの依存、データの不均衡）を特定し、包括的な評価フレームワークを提案すること。
• コンテンツベースとネットワークレベルの特徴を統合した協働的でハイブリッドな検出システムの導入を提唱し、実環境での導入における検出効果を向上させること。

提案手法

• ScamWatch や Action Fraud などの公開ソースから 153,551 通のSMSメッセージを収集し、そのうち 27.31%（15,209 通）をスパム、72.69%（40,477 通）をハムとラベル付けした。
• 複数の機械学習モデルを評価：代表的な分類器（例：fastText）、深層ニューラルネットワーク、トランスフォーマー（例：BERT）、および OCSVM や PU学習を含む非教師あり手法。
• 特徴表現の多様性を評価するため、カウントベクトル化、TF-IDF、および文脈的単語埋め込み（例：Word2Vec、GloVe）を用いた。
• ブラックボックス攻撃戦略を設計し、変換の程度を変化させた攻撃（例：同義語置換、文字レベルの編集）を用いてモデルの耐性をテストした。
• F1スコアと正答率を用いた比較実験を実施し、データセットのクラス不均衡に対処することに注力した。
• コンテンツベースのモデルと非コンテンツベースの特徴（例：メッセージサイズ、送信時刻、ネットワークメタデータ）を統合したハイブリッド評価フレームワークを提案した。

実験結果

リサーチクエスチョン

• RQ1 特に深層学習と非教師あり手法を含む、さまざまな機械学習モデルが大規模で最新のSMSスパムデータセット上でどのように性能を発揮するか？
• RQ2 実際のスパマーの回避戦術を模倣した敵対的摂動に対して、既存のSMSスパム検出モデルはどの程度耐性を示すか？
• RQ3 単純なカウントベースの特徴から文脈的単語埋め込みまで、異なる特徴表現を用いた場合、モデルの性能はどのように変化するか？
• RQ4 SMSスパム検出において、モデルの性能、学習時間、計算コストの間にはどのようなトレードオフがあるか？
• RQ5 ユーザー側とネットワーク側の特徴を統合した協働的でハイブリッドな検出システムは、全体の検出効果をどのように向上させることができるか？

主な発見

• トランスフォーマーに基づく深層学習モデルは、敵対的攻撃に対して最も優れた耐性を示し、摂動下でも高いF1スコアを維持するという点で、他のモデルを大きく上回った。
• fastText は F1スコア 82% を達成し、非常に低い学習時間と推論時間で高い性能を発揮したため、リソース制約のある環境においても深層学習の代替案として有効であることが示された。
• 従来の教師ありモデルはクリーンなデータでは良好に機能したが、敵対的状況下では一般化能力に欠け、攻撃を受けた際の精度が大多数のモデルで90%未満に低下した。
• 文脈的単語埋め込み（例：Word2Vec、GloVe）は、分類精度と耐性の両方を著しく向上させ、TF-IDF などの非意味的ベクトル空間モデルを上回った。
• 極めて不均衡なデータセットでは、正答率を主な指標とするのは誤解を招く可能性がある。実世界のスパム検出においては、F1スコアがモデル性能のより信頼できる指標である。
• ワンクラス学習とPU学習の手法は、非教師ありスパム検出において有望な兆しなので、大規模なラベル付きデータに依存するのを減らす道筋が示唆された。