[論文レビュー] Advanced Evasion Attacks and Mitigations on Practical ML-Based Phishing Website Classifiers

Yusi Lei, Sen Chen+3 more|arXiv (Cornell University)|Apr 15, 2020

Spam and Phishing Detection参考文献 60被引用数 6

ひとこと要約

本稿は、白ボックス、グレー・ボックス、ブラック・ボックス設定の下で、実用的な機械学習ベースのフィッシングWebサイト分類器に対する高度な回避攻撃を提案する。変異に基づく技術を用いて、機能性と外観を保ったまま悪意あるWebサイトを生成する。Googleのフィッシングページフィルタ（GPPF）に対して1秒未塔で100％の攻撃成功率を達成し、BitDefenderのTrafficLightに対しても81.25％の成功率を記録した。一方で、既知のフィッシングサイトとの類似性比較によって攻撃を検出する防御手法Pelicanも提案した。

ABSTRACT

Machine learning (ML) based approaches have been the mainstream solution for anti-phishing detection. When they are deployed on the client-side, ML-based classifiers are vulnerable to evasion attacks. However, such potential threats have received relatively little attention because existing attacks destruct the functionalities or appearance of webpages and are conducted in the white-box scenario, making it less practical. Consequently, it becomes imperative to understand whether it is possible to launch evasion attacks with limited knowledge of the classifier, while preserving the functionalities and appearance. In this work, we show that even in the grey-, and black-box scenarios, evasion attacks are not only effective on practical ML-based classifiers, but can also be efficiently launched without destructing the functionalities and appearance. For this purpose, we propose three mutation-based attacks, differing in the knowledge of the target classifier, addressing a key technical challenge: automatically crafting an adversarial sample from a known phishing website in a way that can mislead classifiers. To launch attacks in the white- and grey-box scenarios, we also propose a sample-based collision attack to gain the knowledge of the target classifier. We demonstrate the effectiveness and efficiency of our evasion attacks on the state-of-the-art, Google's phishing page filter, achieved 100% attack success rate in less than one second per website. Moreover, the transferability attack on BitDefender's industrial phishing page classifier, TrafficLight, achieved up to 81.25% attack success rate. We further propose a similarity-based method to mitigate such evasion attacks, Pelican. We demonstrate that Pelican can effectively detect evasion attacks. Our findings contribute to design more robust phishing website classifiers in practice.

研究の動機と目的

• 実用的な機械学習ベースのフィッシングWebサイト分類器に対して、分類器の詳細をほとんど知らない状態でも効果的な回避攻撃が可能かどうかを調査すること。
• 回避攻撃中にフィッシングWebサイトの機能性と外観を維持することで、より現実的で効果的な攻撃を実現すること。
• 白ボックスおよびグレー・ボックスの状況において、分類ルールを推定するためのサンプルベースの衝突攻撃を考案すること。
• 既知のフィッシングサイトとの類似性を比較することで、悪意あるWebサイトを検出する防御メカニズムPelicanを提案すること。
• 分類ルールの選択戦略を2つ導入することで、分類器の耐性を高め、回避攻撃のコストを増加させること。

提案手法

• 分類器の知識の程度に応じて最適化された、白ボックス、グレー・ボックス、ブラック・ボックスの3種類の変異ベースの回避攻撃を提案する。
• 白ボックス設定では、分類器の意思決定スコアを最小化するために、反復的に特徴量を削除または追加する貪欲アルゴリズムを用いる。
• 分類器へのクエリと出力スコアの分析を通じて、ハッシュ化された特徴量と分類ルールを推定するサンプルベースの衝突攻撃を実装する。
• 未知のWebサイトを最近検出されたフィッシングサイトと特徴の類似性で比較することで、悪意あるサンプルを検出する類似性ベースの防御Pelicanを導入する。
• 回避攻撃の複雑さとコストを高めるために、頑健で非自明なルールを選択する2つの分類ルール選択戦略を適用する。
• ファズ・テスティングから得た変異技術を活用し、悪意ある意図と使用可能性を保ったまま、既知のフィッシングWebサイトを体系的に改変する。

実験結果

リサーチクエスチョン

• RQ1 グレー・ボックスおよびブラック・ボックス設定において、Webサイトの機能性と外観を維持したまま、実用的な機械学習ベースのフィッシング分類器に対して効果的な回避攻撃が可能かどうか。
• RQ2 完全なアクセスが得られない状況で、サンプルベースの衝突攻撃が、ターゲット分類器の分類ルールと特徴量をどれほど効果的に推定できるか。
• RQ3 BitDefenderのTrafficLightのような異なる産業用フィッシング検出システム間で、回避攻撃の転送性（transferability）はどの程度高いか。
• RQ4 Pelicanのような類似性ベースの防御メカニズムが、回避攻撃によって生成された悪意あるWebサイトを信頼性を持って検出できるか。
• RQ5 戦略的な分類ルール選択法が、回避攻撃の難易度とコストをどの程度まで高められるか。

主な発見

• 提案された回避攻撃は、GPPFに対して1秒未塔で100％の成功率を達成した。ブラック・ボックス設定下でも同様の結果を示した。
• BitDefenderのTrafficLight分類器に対する転送性攻撃は81.25％の成功率を記録し、異なるモデル間での有効性を示した。
• サンプルベースの衝突攻撃は、GPPFのほぼすべてのハッシュ化された特徴量と分類ルールを効果的に推定でき、従来の衝突ベース手法を上回った。
• 提案された防御メカニズムPelicanは、既知のフィッシングWebサイトとの類似性比較により、悪意あるサンプルを効果的に検出でき、分類器の耐性を向上させた。
• 2つの分類ルール選択戦略により、回避攻撃の複雑さが顕著に増加し、攻撃の実行コストが著しく上昇した。
• 本研究は、機能性と外観の維持という現実的制約下でも、実用的な機械学習ベースのフィッシング分類器が依然として回避攻撃に対して脆弱であることを明らかにした。