[论文解读] Advanced Evasion Attacks and Mitigations on Practical ML-Based Phishing Website Classifiers

Yusi Lei, Sen Chen+3 more|arXiv (Cornell University)|Apr 15, 2020

Spam and Phishing Detection参考文献 60被引用 6

一句话总结

本文提出了一种针对实际机器学习驱动的钓鱼网站分类器的高级逃避攻击，在白盒、灰盒和黑盒环境下，利用基于变异的技术生成保持功能和外观的对抗性网站。在不到一秒内对谷歌的钓鱼页面过滤器（GPPF）实现了100%的攻击成功率，对BitDefender的TrafficLight实现了81.25%的攻击成功率，同时提出了一种名为Pelican的防御方法，通过与已知钓鱼网站的相似性比较来检测此类攻击。

ABSTRACT

Machine learning (ML) based approaches have been the mainstream solution for anti-phishing detection. When they are deployed on the client-side, ML-based classifiers are vulnerable to evasion attacks. However, such potential threats have received relatively little attention because existing attacks destruct the functionalities or appearance of webpages and are conducted in the white-box scenario, making it less practical. Consequently, it becomes imperative to understand whether it is possible to launch evasion attacks with limited knowledge of the classifier, while preserving the functionalities and appearance. In this work, we show that even in the grey-, and black-box scenarios, evasion attacks are not only effective on practical ML-based classifiers, but can also be efficiently launched without destructing the functionalities and appearance. For this purpose, we propose three mutation-based attacks, differing in the knowledge of the target classifier, addressing a key technical challenge: automatically crafting an adversarial sample from a known phishing website in a way that can mislead classifiers. To launch attacks in the white- and grey-box scenarios, we also propose a sample-based collision attack to gain the knowledge of the target classifier. We demonstrate the effectiveness and efficiency of our evasion attacks on the state-of-the-art, Google's phishing page filter, achieved 100% attack success rate in less than one second per website. Moreover, the transferability attack on BitDefender's industrial phishing page classifier, TrafficLight, achieved up to 81.25% attack success rate. We further propose a similarity-based method to mitigate such evasion attacks, Pelican. We demonstrate that Pelican can effectively detect evasion attacks. Our findings contribute to design more robust phishing website classifiers in practice.

研究动机与目标

• 调查是否可以在对目标分类器了解有限的情况下，对实际的基于机器学习的钓鱼网站分类器发动有效的逃避攻击。
• 在逃避攻击过程中保持钓鱼网站的功能和外观，使其更具真实感和有效性。
• 在白盒和灰盒场景下，提出一种基于样本的碰撞攻击，用于推断分类规则。
• 提出一种防御机制Pelican，通过将网站与已知钓鱼网站的相似性进行比较，检测逃避攻击。
• 通过两种分类规则选择策略提高分类器的鲁棒性，从而增加攻击成本。

提出的方法

• 提出三种基于变异的逃避攻击——白盒、灰盒和黑盒攻击，分别针对不同级别的分类器知识。
• 在白盒环境下使用贪心算法，通过迭代删除或添加特征来最小化分类器的决策得分。
• 采用基于样本的碰撞攻击，通过查询分类器并分析输出得分，推断哈希特征和分类规则。
• 提出Pelican，一种基于相似性的防御机制，通过使用特征相似性将未知网站与近期检测到的钓鱼网站进行比较，以检测对抗性样本。
• 应用两种分类规则选择策略，通过选择鲁棒且非平凡的规则，增加逃避攻击的复杂性和成本。
• 利用模糊测试中的变异技术，系统性地修改已知钓鱼网站，同时保持其恶意意图和可用性。

实验结果

研究问题

• RQ1 在灰盒和黑盒环境下，是否可以有效发动针对实际基于机器学习的钓鱼网站分类器的逃避攻击，同时保持网站的功能和外观？
• RQ2 在无完全访问权限的情况下，基于样本的碰撞攻击在推断目标分类器的分类规则和特征方面的有效性如何？
• RQ3 逃避攻击在不同工业级钓鱼检测系统（如BitDefender的TrafficLight）之间的可迁移性如何？
• RQ4 基于相似性的防御机制（如Pelican）是否能可靠地检测通过逃避攻击生成的对抗性网站？
• RQ5 战略性分类规则选择方法在多大程度上增加了逃避攻击的难度和成本？

主要发现

• 所提出的逃避攻击在每张网站上不到一秒内对谷歌的钓鱼页面过滤器（GPPF）实现了100%的成功率，即使在黑盒环境下也成立。
• 对BitDefender的TrafficLight分类器实施的迁移攻击达到了81.25%的成功率，证明了跨模型的有效性。
• 基于样本的碰撞攻击成功推断出GPPF的几乎所有哈希特征和分类规则，优于以往的基于碰撞的技术。
• 所提出的防御机制Pelican通过将相似性与已知钓鱼网站进行比较，有效检测出对抗性样本，增强了分类器的鲁棒性。
• 两种分类规则选择策略显著提高了逃避攻击的复杂性，使其更难实施。
• 本研究揭示，即使在功能和外观保持真实性的现实约束下，实际基于机器学习的钓鱼网站分类器仍易受逃避攻击影响。