[论文解读] Cost-Aware Robust Tree Ensembles for Security Applications

Yizheng Chen, Shiqi Wang+3 more|arXiv (Cornell University)|Dec 3, 2019

Network Security and Intrusion Detection参考文献 59被引用 6

一句话总结

该论文提出了一种面向安全应用中树集成模型的成本感知鲁棒训练方法，通过在节点分裂过程中将非对称、特征特定的操纵成本建模为约束条件。通过将领域特定的成本知识整合到梯度提升决策树和随机森林中，该方法相比基线模型将对抗性逃避成本提高了10.6倍，同时提升了准确率并降低了误报率。

ABSTRACT

There are various costs for attackers to manipulate the features of security classifiers. The costs are asymmetric across features and to the directions of changes, which cannot be precisely captured by existing cost models based on $L_p$-norm robustness. In this paper, we utilize such domain knowledge to increase the attack cost of evading classifiers, specifically, tree ensemble models that are widely used by security tasks. We propose a new cost modeling method to capture the feature manipulation cost as constraint, and then we integrate the cost-driven constraint into the node construction process to train robust tree ensembles. During the training process, we use the constraint to find data points that are likely to be perturbed given the feature manipulation cost, and we use a new robust training algorithm to optimize the quality of the trees. Our cost-aware training method can be applied to different types of tree ensembles, including gradient boosted decision trees and random forest models. Using Twitter spam detection as the case study, our evaluation results show that we can increase the attack cost by 10.6X compared to the baseline. Moreover, our robust training method using cost-driven constraint can achieve higher accuracy, lower false positive rate, and stronger cost-aware robustness than the state-of-the-art training method using $L_\infty$-norm cost model. Our code is available at https://github.com/surrealyz/growtrees.

研究动机与目标

• 解决现有 $L_p$-范数鲁棒性模型的局限性，即假设特征扰动成本均匀且对称，这与真实世界的安全场景不符。
• 在安全应用中建模非对称、特征特定的操纵成本（如垃圾邮件检测中，更改域名等特征的成本低于更改服务器托管等特征）。
• 开发一种将成本驱动约束整合到树节点分裂过程中的鲁棒训练框架，以提升对现实攻击者的抗性。
• 证明成本感知训练相比 $L_\infty$-基于方法，在树集成模型中可实现更高的准确率、更低的误报率以及更强的鲁棒性。

提出的方法

• 提出一种成本建模方法，将关于特征操纵成本的领域知识转化为每个样本的扰动约束，捕捉跨特征及方向的非对称成本。
• 通过在有界、成本感知扰动的约束下对增益度量（如基尼不纯度、信息增益）进行最大化，将成本驱动约束整合到节点分裂过程中。
• 设计一种高效的鲁棒训练算法，求解不同类型树集成模型（包括梯度提升决策树和随机森林）中的约束优化问题。
• 使用混合整数线性规划（MILP）攻击者模拟在成本约束下的最强白盒对手，以评估自适应逃避成本。
• 将自适应攻击成本函数定义为最强攻击者的最小化目标，通过针对成本驱动约束进行优化，以实际衡量鲁棒性。
• 通过在分裂层级施加约束，支持对各种基于树的模型进行泛化，实现与AdaBoost、GBM等树集成框架的集成。

实验结果

研究问题

• RQ1 能否通过反映非对称、特征特定操纵成本的成本感知约束，提升树集成模型在安全应用中的鲁棒性？
• RQ2 与 $L_\infty$-范数基于的鲁棒训练相比，成本感知鲁棒训练在准确率、误报率和对抗鲁棒性方面表现如何？
• RQ3 在现实威胁模型中，成本感知训练能在多大程度上提高攻击者所需的最小逃避成本？
• RQ4 所提出的方法能否在不同类型的树集成模型（如随机森林和梯度提升决策树）中实现泛化？
• RQ5 在调整成本驱动约束时，模型准确率、误报率与鲁棒性之间存在何种权衡？

主要发现

• 所提出的成本感知鲁棒训练方法在推特垃圾邮件检测中，相比基线模型将自适应逃避成本提高了10.6倍。
• 在梯度提升决策树中，该方法的鲁棒性比最先进的 $L_\infty$-基于方法高出1.25倍，在随机森林模型中则高出1.7倍。
• 与 $L_\infty$-基于模型相比，成本感知方法在保持更强对抗性鲁棒性的同时，实现了更高的准确率和更低的误报率。
• 该方法在梯度提升决策树和随机森林中均表现出良好的泛化能力，各类模型均实现了稳定的性能提升。
• 在四个基准数据集上的评估中，成本感知模型在鲁棒性和模型性能方面均优于 $L_1$ 和 $L_2$-基于基线，其中M6和M19表现出更大的L1/L2逃避距离。
• 该方法实现了更优的准确率、误报率与鲁棒性之间的权衡，通过约束超参数调优可实现最优性能。