[論文レビュー] Spam filtering on forums: A synthetic oversampling based approach for imbalanced data classification

Pratik Ratadiya, Rahul Moorthy|arXiv (Cornell University)|Sep 10, 2019

Spam and Phishing Detection参考文献 1被引用数 12

ひとこと要約

本稿では、フォーラムスパム検出におけるクラス不均衡問題を解消するために、SMOTEを用いた合成オーバーサンプリング手法を提案しており、分類性能が顕著に向上している。少数クラス（スパム）のサンプルを合成することで、複数のアルゴリズムにおいて再現率とF1スコアが向上し、元のモデルに比べて最大10%の改善が得られている。

ABSTRACT

Forums play an important role in providing a platform for community interaction. The introduction of irrelevant content or spam by individuals for commercial and social gains tends to degrade the professional experience presented to the forum users. Automated moderation of the relevancy of posted content is desired. Machine learning is used for text classification and finds applications in spam email detection, fraudulent transaction detection etc. The balance of classes in training data is essential in the case of classification algorithms to make the learning efficient and accurate. However, in the case of forums, the spam content is sparse compared to the relevant content giving rise to a bias towards the latter while training. A model trained on such biased data will fail to classify a spam sample. An approach based on Synthetic Minority Over-sampling Technique(SMOTE) is presented in this paper to tackle imbalanced training data. It involves synthetically creating new minority class samples from the existing ones until balance in data is achieved. The enhanced data is then passed through various classifiers for which the performance is recorded. The results were analyzed on the data of forums of Spoken Tutorial, IIT Bombay over standard performance metrics and revealed that models trained after Synthetic Minority oversampling outperform the ones trained on imbalanced data by substantial margins. An empirical comparison of the results obtained by both SMOTE and without SMOTE for various supervised classification algorithms have been presented in this paper. Synthetic oversampling proves to be a critical technique for achieving uniform class distribution which in turn yields commendable results in text classification. The presented approach can be further extended to content categorization on educational websites thus helping to improve the overall digital learning experience.

研究の動機と目的

• スパムインスタンスが非スパムコンテンツに比べて著しく少ない、フォーラムスパム検出におけるクラス不均衡の課題に対処すること。
• 少数クラス（スパム）と多数クラス（非スパム）をバランスさせる手法を用いて、不均衡なテキストデータにおける教師あり分類アルゴリズムの性能を向上させること。
• SMOTEによる合成オーバーサンプリングが、教育フォーラムにおけるスパムフィルタリングの精度、再現率、F1スコアの向上にどの程度寄与するかを評価すること。
• 実際のフォーラムデータに基づくスパム検出モデルにおいて、SMOTEを用いたデータ拡張が、生の不均衡データセットで学習させるよりもより強固で正確なスパム分類を実現できることを示すこと。

提案手法

• 前処理として、HTMLタグの除去、特殊文字およびストップワードの削除、3文字未満のトークンのフィルタリングが行われる。
• テキストデータはTF-IDFを用いてベクトル化され、語彙頻度と逆文書頻度の重みを計算してテキスト特徴を表現する。
• 訓練セットに対してSMOTEが適用され、少数クラス（スパム）と多数クラス（非スパム）のバランスを取るために合成スパムサンプルが生成される。
• オーバーサンプリングされたデータセットを用いて、マルチノミアルナイーブベイズ、ロジスティック回帰、線形SVC、決定木の複数の教師あり分類器を学習する。
• 精度、再現率、F1スコア、正答率を用いて性能を評価し、少数クラスの検出に敏感な指標に注目する。
• すべてのアルゴリズムにおいて、SMOTEを適用したデータと元の不均衡データセットを比較し、性能向上の有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 SMOTEを用いた合成オーバーサンプリングは、不均衡なフォーラムデータセットにおけるスパム検出を顕著に改善するか？
• RQ2 SMOTEを用いたデータバランス化は、スパムフィルタリングにおけるさまざまなテキスト分類アルゴリズムの精度、再現率、F1スコアにどのように影響を与えるか？
• RQ3 SMOTEは、現実のフォーラムデータに基づくスパム検出モデルにおける多数クラスへのバイアスを軽減できるか？
• RQ4 不均衡なフォーラムテキストデータにおいて、F1スコアの向上という観点から、どの分類アルゴリズムがSMOTEから最も利益を得られるか？

主な発見

• SMOTEを適用した後、マルチノミアルナイーブベイズのF1スコアは0.71から0.82に上昇し、ベースラインモデルに比べて10%の改善が得られた。
• ロジスティック回帰では、SMOTE適用後、F1スコアが0.0から0.40に上昇し、少数クラスの検出に顕著な向上が見られた。
• 線形SVCモデルでは、SMOTE適用後、F1スコアが0.0から0.60に上昇し、再現率と精度の両面で明確なポジティブな影響が示された。
• 決定木モデルでは、F1スコアが0.20から0.18にわずかに上昇したが、依然として最も弱いパフォーマンスを示し、このケースではSMOTEによる恩恵が限定的であることが示された。
• 全体の正答率は高い水準（SMOTE時で0.96）を維持していたが、実質的な向上は再現率とF1スコアに見られ、これは不均衡なスパム検出においてより意味のある指標である。
• 本研究では、SMOTEが多数クラスへのバイアスを効果的に低減し、希少なスパムインスタンスの検出能力を向上させることを確認した。