[论文解读] Machine learning-assisted virtual patching of web applications

Gustavo Betarte, Eduardo Giménez+2 more|arXiv (Cornell University)|Mar 14, 2018

Network Security and Intrusion Detection参考文献 7被引用 9

一句话总结

本文提出了一种基于机器学习的虚拟补丁技术，用于增强Web应用程序的安全性，结合单类分类与n-gram分析，以提升ModSecurity的检测准确率并减少误报。该方法通过利用正常流量模式进行异常检测，在无标签攻击数据的情况下，优于默认的OWASP核心规则集，且在低数据或高数据场景下均具备实际部署能力。

ABSTRACT

Web applications are permanently being exposed to attacks that exploit their vulnerabilities. In this work we investigate the application of machine learning techniques to leverage Web Application Firewall (WAF), a technology that is used to detect and prevent attacks. We propose a combined approach of machine learning models, based on one-class classification and n-gram analysis, to enhance the detection and accuracy capabilities of MODSECURITY, an open source and widely used WAF. The results are promising and outperform MODSECURITY when configured with the OWASP Core Rule Set, the baseline configuration setting of a widely deployed, rule-based WAF technology. The proposed solution, combining both approaches, allow us to deploy a WAF when no training data for the application is available (using one-class classification), and an improved one using n-grams when training data is available.

研究动机与目标

• 解决基于规则的Web应用防火墙（WAF）存在的高误报率与规则僵化问题，例如使用OWASP核心规则集的ModSecurity。
• 通过机器学习学习正常应用行为，提升WAF的检测能力，尤其在缺乏标注攻击数据的情况下。
• 开发一种互补性方法，结合单类分类以增强零日攻击的鲁棒性，以及n-gram分析以在有训练数据时实现高精度检测。
• 实现在实际场景中部署智能WAF，尤其在源代码不可用或补丁无法实施的情况下。
• 提供一种将机器学习集成到现有WAF（如ModSecurity）的框架，以减少手动调优，提升安全防护水平。

提出的方法

• 使用单类分类建模基于已知攻击模式提取特征的正常Web请求行为，实现无需标注攻击数据即可检测异常。
• 应用n-gram分析以建模Web参数中输入序列的统计分布，采用可配置长度的变长n-gram（最高至n）以捕捉结构模式。
• 针对不同字段配置n-gram长度（例如，对稀疏字段如电子邮件使用较短的n），以优化敏感度并减少稀疏性问题。
• 在合法流量上训练n-gram模型，以学习预期的输入分布，将偏离视为潜在攻击。
• 通过标签融合（正常/攻击）结合两个模型的输出，提升检测的鲁棒性与适应性。
• 将机器学习模型作为插件层集成到ModSecurity之上，利用其日志记录与请求检测流水线实现实时流量分析。

实验结果

研究问题

• RQ1 在无可用应用特定训练数据的情况下，单类分类能否提升WAF的检测能力？
• RQ2 当基于正常流量训练时，n-gram-based异常检测在识别恶意载荷方面的有效性如何？
• RQ3 单类分类与n-gram分析的结合是否能在检测率与误报率两方面均优于默认的OWASP核心规则集？
• RQ4 模型参数（如n-gram长度、特征选择）在不同类型的Web应用中对性能的影响如何？
• RQ5 基于机器学习的虚拟补丁在多大程度上可减少生产环境中WAF部署对人工规则调优的依赖？

主要发现

• 当无应用特定训练数据时，单类分类模型在检测率与误报率方面均优于使用OWASP核心规则集的ModSecurity。
• 在三个测试数据集中的两个上，基于n-gram的异常检测模型显著优于ModSecurity的默认配置，展现出更高的恶意输入识别精度。
• 两种模型的结合提供了一种稳健的解决方案，可在数据稀缺（单类分类）与数据丰富（n-gram）场景下均实现部署。
• 所提方法通过识别ModSecurity日志中的误报，减少了对人工规则调优的需求，可用于优化规则集。
• n-gram模型通过检测与预期输入模式的偏差，对零日攻击表现出强鲁棒性，即使在缺乏攻击先验知识的情况下亦能有效识别。
• 该框架在集成到现有WAF（如ModSecurity）方面展现出实际可行性，并为原生模块开发提供了清晰路径。