[論文レビュー] Reliability and Robustness analysis of Machine Learning based Phishing URL Detectors

Bushra Sabir, M. Ali Babar+2 more|arXiv (Cornell University)|May 18, 2020

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文は、最先端の機械学習ベースのフィッシングURL検出器（MLPU）の信頼性および耐性を評価する包括的な手法を提案する。URLBUGと呼ばれるコスト効率の良い敵対的URL生成ツールを導入し、文法的に妥当で登録可能なURLを生成する。その中で中央値年間登録コストは11.99ドルであり、そのうち63.94％が悪意ある目的で使用されている。研究では、高性能なMLPUモデル（中央値MCC 0.92）が敵対的入力に対して著しく劣化すること（中央値MCCが0.02に低下）を明らかにし、現行システムにおける深刻なセキュリティ上の脆弱性を露呈した。

ABSTRACT

ML-based Phishing URL (MLPU) detectors serve as the first level of defence to protect users and organisations from being victims of phishing attacks. Lately, few studies have launched successful adversarial attacks against specific MLPU detectors raising questions about their practical reliability and usage. Nevertheless, the robustness of these systems has not been extensively investigated. Therefore, the security vulnerabilities of these systems, in general, remain primarily unknown which calls for testing the robustness of these systems. In this article, we have proposed a methodology to investigate the reliability and robustness of 50 representative state-of-the-art MLPU models. Firstly, we have proposed a cost-effective Adversarial URL generator URLBUG that created an Adversarial URL dataset. Subsequently, we reproduced 50 MLPU (traditional ML and Deep learning) systems and recorded their baseline performance. Lastly, we tested the considered MLPU systems on Adversarial Dataset and analyzed their robustness and reliability using box plots and heat maps. Our results showed that the generated adversarial URLs have valid syntax and can be registered at a median annual price of \$11.99. Out of 13\% of the already registered adversarial URLs, 63.94\% were used for malicious purposes. Moreover, the considered MLPU models Matthew Correlation Coefficient (MCC) dropped from a median 0.92 to 0.02 when tested against $Adv_\mathrm{data}$, indicating that the baseline MLPU models are unreliable in their current form. Further, our findings identified several security vulnerabilities of these systems and provided future directions for researchers to design dependable and secure MLPU systems.

研究の動機と目的

• 最先端のMLPU検出器が敵対的入力に対してどれほど耐性を示すかを調査すること。
• 現実のフィッシング攻撃で悪用可能な、既存のMLPUモデルにおけるセキュリティ上の脆弱性を同定すること。
• モデルの耐性をテストするためのスケーラブルでコスト効率の良い、リアルな敵対的URL生成手法を開発すること。
• より安全で信頼性の高いMLPUシステムを設計するための実用的知見を提供すること。

提案手法

• 文法的に妥当で登録可能なURLを生成する、標的型の敵対的URL生成ツールであるURLBUGを提案。文字レベルおよび語彙レベルの摂動を適用する。
• 報告されたアーキテクチャと特徴量セットを用いて、代表的な50のMLPUモデル（従来の機械学習およびディープラーニングモデルを含む）を再現した。
• 特定の摂動（TLDの交換、同似文字、文字レベルの置換など）を適用してURLを生成し、敵対的URLデータセット（$Adv_{\mathrm{data}}$）を構築した。
• Matthew相関係数（MCC）、正解率、F1スコアといった標準指標を用いて、$Adv_{\mathrm{data}}$ におけるモデル性能を評価した。
• ボックスプロットおよびヒートマップを用いて、異なるモデル、特徴量、摂動タイプ間での耐性を比較可視化した。
• アブレーションスタディを実施し、どの特徴量タイプや分類器が敵対的攻撃に対して最も耐性があるかを同定した。

実験結果

リサーチクエスチョン

• RQ1 現存するMLPUモデルは、現実的で登録可能な摂動によって生成された敵対的URLをどれほど効果的に検出できるか。
• RQ2 生成された敵対的URLの実世界での実現可能性と悪意ある利用価値（登録コストおよびフィッシングキャンペーンでの実際の使用）はいかほどか。
• RQ3 フィッシングURL検出タスクにおいて、どのモデルアーキテクチャと特徴表現が敵対的摂動に対して最も耐性を示すか。
• RQ4 現在のMLPU検出器に存在する、敵対的条件下で高失敗率を示す主なセキュリティ上の脆弱点は何か。
• RQ5 コンピュータビジョンやNLP分野で用いられる耐性指標は、ブラックボックス評価を想定したフィッシング検出分野へ適応可能か。

主な発見

• URLBUGが生成した敵対的URLは文法的に妥当であり、中央値年間登録コストが11.99ドルであるため、実世界での実現可能性が裏付けられた。
• 登録済みの敵対的URLの13％のうち63.94％が実際に悪意ある目的で使用されており、実用的脅威の潜在的価値が確認された。
• 50のMLPUモデルの中央値MCCは、敵対的データセットでテストした際、0.92から0.02に低下し、著しい信頼性の低下が示された。
• 基本的な語彙的および外部特徴（URL長、TLD、懸念すべきキーワードの有無など）は高い耐性を示し、敵対的テスト下でも30％未満の誤分類率であった。
• LSTMベースの分類器は、パスレベルの敵対的摂動に対してほぼ完璧な検出（99.99％の正解率）を示し、構造的変化に対して高い感受性を示すことがわかった。
• 文字レベルの摂動が最も高い失敗率を示し、90％のモデルがそのような敵対的URLを誤分類した。これは、現在のモデルにおける深刻な脆弱性を示している。