[論文レビュー] Phishing Detection Using Machine Learning Techniques

Vahid Shahrivari, Mohammad Mahdi Darabi+1 more|arXiv (Cornell University)|Sep 20, 2020

Spam and Phishing Detection被引用数 15

ひとこと要約

本論文は、11,055のウェブサイト（うち6,157件が正当、4,898件がフィッシング）からなるデータセットを用いて、ロジスティック回帰、決定木、ランダムフォレスト、AdaBoost、SVM、KNN、ニューラルネットワーク、勾配ブースティング、XGBoostの9つの機械学習モデルをフィッシングウェブサイト検出のために評価している。XGBoostは正則化、学習率、特徴量のサブサンプリングのおかげで、特に小規模データセットにおいて、F1スコアとトレーニング速度の両面で他のモデルを上回った。また、解釈可能性に欠けるが、ニューラルネットワークよりも優れた一般化性能を示した。

ABSTRACT

The Internet has become an indispensable part of our life, However, It also has provided opportunities to anonymously perform malicious activities like Phishing. Phishers try to deceive their victims by social engineering or creating mock-up websites to steal information such as account ID, username, password from individuals and organizations. Although many methods have been proposed to detect phishing websites, Phishers have evolved their methods to escape from these detection methods. One of the most successful methods for detecting these malicious activities is Machine Learning. This is because most Phishing attacks have some common characteristics which can be identified by machine learning methods. In this paper, we compared the results of multiple machine learning methods for predicting phishing websites.

研究の動機と目的

• 複数の機械学習アルゴリズムのフィッシングウェブサイト検出性能を評価・比較すること。
• 精度、トレーニング速度、一般化能力の観点から、フィッシング検出に最も効果的なモデルを同定すること。
• ハイパーパrameterチューニングおよびモデルアーキテクチャの検出性能への影響を分析すること。
• モデルの解釈可能性、計算コスト、検出効果の間のトレードオフを検討すること。
• 今後の研究のための再現可能なベンチマークを提供すること。

提案手法

• 本研究では、9種類の教師あり機械学習分類器（ロジスティック回帰、決定木、ランダムフォレスト、AdaBoost、SVM、KNN、ニューラルネットワーク、勾配ブースティング、XGBoost）を用いる。
• 特徴量は、URLおよびコンテンツから抽出され、URL長、'https'の有無、'www'の使用、特殊文字の有無などが含まれる。
• XGBoostには、過学習を軽減し一般化性能を向上させるために、学習率、特徴量およびインスタンスのサブサンプリング、L2正則化を適用する。
• ニューラルネットワークは、Adam最適化関数とReLU活性化関数を用い、500エポック後に早期停止を適用し、隠れ層の深さを変化させてトレーニングする。
• KNNの性能は、異なるK値の下で評価され、バイアス-バリアンスのトレードオフを評価する。
• モデルの評価は、標準指標（正解率、F1スコア、適合率、再現率、トレーニング時間）に基づき、比較表および図を用いて報告される。

実験結果

リサーチクエスチョン

• RQ1 どの機械学習モデルがフィッシングウェブサイトを分類する際、最高のF1スコアと正解率を達成するか？
• RQ2 特に中規模のデータセットにおいて、トレーニング速度と計算効率は、異なるモデル間でどのように比較されるか？
• RQ3 ハイパーパrameterチューニングおよび正則化は、モデルの一般化性能とロバストネスにどのような影響を与えるか？
• RQ4 特にXGBoostとニューラルネットワークの間で、モデルの解釈性はどのように比較されるか？
• RQ5 ランダムフォレストやXGBoostのようなアンサンブル手法は、フィッシング検出において、個々のモデルを常に上回る性能を発揮するか？

主な発見

• XGBoostは、全モデルの中で最高のF1スコアを達成し、フィッシング検出タスクにおける優れた性能を示した。
• XGBoostは、トレーニングが最も速く、ニューラルネットワークやSVMと比べて顕著に計算効率に優れていた。
• ニューラルネットワークは、全モデルと比べて著しく長いトレーニング時間を要したが、F1スコアではXGBoostを上回らなかった。
• ランダムフォレストとXGBoostは、両方とも高い正解率と高速な推論性能を示し、実世界への導入に適した候補となった。
• KNNは、少数の近傍点を用いた場合に良好な性能を示し、バイアスは低かったがバリアンスは高かった。一方、K値を大きくすると、より滑らかではあるが柔軟性に欠ける決定境界が得られた。
• XGBoostの正則化、学習率、特徴量サブサンプリングの組み合わせにより、特に小規模データセットにおいて、ニューラルネットワークよりも優れた一般化性能が達成された。