[論文レビュー] Detecting Phishing Sites -- An Overview

P. Kalaharsha, B. M. Mehtre|arXiv (Cornell University)|Mar 23, 2021

Spam and Phishing Detection参考文献 33被引用数 20

ひとこと要約

本論文は、URL、コンテンツ、視覚的特徴を用いて、9つのデータセットを用いて18種類の機械学習モデルを評価する包括的なフィッシング検出技術の概要を提供している。CNN-MHSAは99.84%の正確性を達成し、OFS-NNは99.3%を記録し、トップパフォーマンスを示した。一方で、誤検出、過学習、データセットの古さといった課題が実用的導入を妨げている。

ABSTRACT

Phishing is one of the most severe cyber-attacks where researchers are interested to find a solution. In phishing, attackers lure end-users and steal their personal in-formation. To minimize the damage caused by phishing must be detected as early as possible. There are various phishing attacks like spear phishing, whaling, vishing, smishing, pharming and so on. There are various phishing detection techniques based on white-list, black-list, content-based, URL-based, visual-similarity and machine-learning. In this paper, we discuss various kinds of phishing attacks, attack vectors and detection techniques for detecting the phishing sites. Performance comparison of 18 different models along with nine different sources of datasets are given. Challenges in phishing detection techniques are also given.

研究の動機と目的

• リストベース、ヒューリスティックベース、視覚的類似性、機械学習手法を含む、複数の分類における既存のフィッシング検出技術を調査・比較すること。
• 多様なデータセットを用いて18種類の異なる機械学習モデルのパフォーマンスを評価し、最も正確な検出アプローチを特定すること。
• 誤検出、誤検出、データセットの新鮮さ、特徴選択、過学習などの、フィッシング検出における主な課題を特定すること。
• モデル、データセット、特徴セット across のパフォーマンスメトリクスをまとめることで、今後の研究のベンチマークを提供すること。
• 現在の手法における制限を分析することで、より強固でスケーラブルかつ正確なフィッシング検出システムの開発を支援すること。

提案手法

• 本研究では、ナイーブベイズ、ランダムフォレスト、CNN、RNN、LSTM、マルチレイヤーパーセプトロン、およびCNN+LSTMやCNN+RNNなどのハイブリッドモデルを含む18種類の機械学習モデルを評価した。
• モデルは、PhishTank、UCI機械学習リポジトリ、Common-Crawl、Alexa、OpenPhishを含む9つの異なるデータセットを用いて訓練およびテストした。
• 特徴抽出には、URLベースの特徴（例：サブドメイン、スペルミス、IDN同音異義語）、コンテンツ特徴（例：感受性の高いキーワード）、およびソースコード特徴（例：埋め込みiFrame）が含まれる。
• パフォーマンスは正確性を指標として測定され、異なるモデルとデータセットの組み合わせにおける比較表にまとめられた。
• 本分析には、畳み込みニューラルネットワークとマルチヘッド自己注意機構を組み合わせたCNN-MHSAや、最適特徴選択ニューラルネットワークOFS-NNのようなハイブリッドアーキテクチャの評価が含まれる。
• 再現性と異なる実験設定におけるモデル評価の一貫性を確保するため、本研究では既存の文献およびベンチマークデータセットを用いた。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットを用いた場合、どの機械学習モデルがフィッシングサイト検出において最も高い正確性を達成するか？
• RQ2 URL、コンテンツ、ソースコード、視覚的類似性といった異なる特徴タイプは、検出パフォーマンスにどのように影響を与えるか？
• RQ3 誤検出、誤検出、過学習、データセットの新鮮さといった、フィッシング検出システムの実用的効果を制限する主な課題は何か？
• RQ4 モデルアーキテクチャ（例：CNN、RNN、ハイブリッドモデル）は、未確認のフィッシングサイトに対する検出正確性と一般化能力にどのように影響を与えるか？
• RQ5 データセットの特性（サイズ、出典、最新性）は、モデルのパフォーマンスと学習時間にどのように影響を与えるか？

主な発見

• CNN-MHSAモデルは、PhishTankおよび5000のベストウェブサイトからのデータセットを用いて、99.84%の正確性を達成した。
• OFS-NNモデルは、UCIおよびPhishTankからのデータセットを用いて99.3%の正確性を達成し、他の大多数のモデルを上回った。
• マルチレイヤーパーセプトロンは、Kaggleデータセットで98.4%の正確性を示し、密度型ニューラルネットワークの強力な性能を示した。
• 誤検出と誤検出は依然として深刻な課題であり、一部のモデルが正当なサイトを誤って分類したり、悪意あるサイトを検出できなかったりしている。
• 過学習は主な問題と特定され、とくに古くさいまたは小さなデータセットで訓練されたモデルでは、新しいフィッシングバージョンへの一般化能力が低下した。
• データセットの新鮮さと特徴選択は、モデルのパフォーマンスに顕著な影響を与え、古くなったデータセットは、新たなフィッシング技術に対する検出正確性を低下させる傾向があった。