[论文解读] Deep Reinforcement Learning for Detecting Malicious Websites

Moitrayee Chatterjee, Akbar Siami Namin|arXiv (Cornell University)|May 22, 2019

Spam and Phishing Detection参考文献 12被引用 12

一句话总结

本文提出一种深度强化学习（DRL）模型，通过将URL分类视为序列决策问题，实现对恶意网站的检测。该模型利用URL中的14个词汇特征，采用深度Q网络（DQN）动态学习并适应不断演变的钓鱼模式，在包含73,575个URL的平衡数据集上，实现了90.1%的准确率、88%的召回率和87.3%的F-measure。

ABSTRACT

Phishing is the simplest form of cybercrime with the objective of baiting people into giving away delicate information such as individually recognizable data, banking and credit card details, or even credentials and passwords. This type of simple yet most effective cyber-attack is usually launched through emails, phone calls, or instant messages. The credential or private data stolen are then used to get access to critical records of the victims and can result in extensive fraud and monetary loss. Hence, sending malicious messages to victims is a stepping stone of the phishing procedure. A extit{phisher} usually setups a deceptive website, where the victims are conned into entering credentials and sensitive information. It is therefore important to detect these types of malicious websites before causing any harmful damages to victims. Inspired by the evolving nature of the phishing websites, this paper introduces a novel approach based on deep reinforcement learning to model and detect malicious URLs. The proposed model is capable of adapting to the dynamic behavior of the phishing websites and thus learn the features associated with phishing website detection.

研究动机与目标

• 开发一种能够从不断演变的URL结构中学习的自适应、动态钓鱼检测系统。
• 通过引入强化学习框架，解决静态黑名单和基于启发式方法的局限性。
• 评估深度Q网络（DQN）模型在使用合法与恶意URL平衡数据集进行URL分类时的性能。
• 探索在二元钓鱼检测任务中，利用DRL进行序列决策的可行性。
• 为超越传统机器学习方法的稳健、可扩展且自适应的钓鱼检测框架奠定基础。

提出的方法

• 该模型使用深度Q网络（DQN）将URL输入序列映射到动作值，其中动作表示分类为钓鱼或正常网站。
• 从每个URL中提取14个词汇特征构建状态表示，包括字符频率、域名长度和特殊字符使用情况。
• 智能体通过与环境交互学习，基于正确分类提供稀疏奖励，使用回放缓冲区稳定训练过程。
• 使用深度神经网络近似Q值函数，参数为θ，通过Adam优化器进行随机梯度下降更新。
• 使用目标网络通过将目标Q值计算与在线网络解耦，以稳定学习过程。
• 训练过程采用ε-greedy探索策略，在学习过程中平衡探索与利用。

实验结果

研究问题

• RQ1 深度强化学习能否有效建模用于分类钓鱼URL的序列决策过程？
• RQ2 基于DRL的分类器在检测恶意网站方面与传统机器学习方法相比表现如何？
• RQ3 DRL模型在仅使用词汇特征的情况下，能在多大程度上适应钓鱼URL模式的动态变化？
• RQ4 探索率（ε）和奖励塑造等超参数如何影响模型的收敛性和分类准确率？
• RQ5 DRL框架能否扩展以整合主机级或内容级属性等额外特征，从而提升检测性能？

主要发现

• 所提出的DRL模型在Ebbu2017数据集上实现了90.1%的准确率，表明其在包含73,575个URL的平衡数据集上具有强大的泛化能力。
• 模型召回率达到88%，表明其成功识别了88%的实际钓鱼URL，这对减少漏报至关重要。
• F-measure达到87.3%，表明精确率与召回率之间取得了良好平衡，证实了模型的稳健性和可靠性。
• 精确率为86.7%，表明分类为恶意的URL中，86.7%确实为钓鱼攻击。
• 该模型在动态适应性方面优于基线机器学习方法，尤其在检测新创建或演变中的钓鱼URL方面表现更优。
• 本研究未对奖励函数进行调优，表明未来通过优化奖励塑造仍有提升性能的空间。