[论文解读] Efficient Training of Robust Decision Trees Against Adversarial Examples

Daniël Vos, Sicco Verwer|arXiv (Cornell University)|Dec 18, 2020

Adversarial Robustness in Machine Learning参考文献 17被引用 11

一句话总结

本文提出 GROOT，一种通过解析求解对抗性基尼不纯度来训练对抗性样本下鲁棒决策树的快速高效算法，实现了相比最先进方法两个数量级的速度提升，同时保持了具有竞争力的鲁棒性。该方法支持灵活的、用户自定义的威胁模型以及自然性能与对抗性能之间的权衡超参数 ρ。

ABSTRACT

In the present day we use machine learning for sensitive tasks that require models to be both understandable and robust. Although traditional models such as decision trees are understandable, they suffer from adversarial attacks. When a decision tree is used to differentiate between a user's benign and malicious behavior, an adversarial attack allows the user to effectively evade the model by perturbing the inputs the model receives. We can use algorithms that take adversarial attacks into account to fit trees that are more robust. In this work we propose an algorithm, GROOT, that is two orders of magnitude faster than the state-of-the-art-work while scoring competitively on accuracy against adversaries. GROOT accepts an intuitive and permissible threat model. Where previous threat models were limited to distance norms, we allow each feature to be perturbed with a user-specified parameter: either a maximum distance or constraints on the direction of perturbation. Previous works assumed that both benign and malicious users attempt model evasion but we allow the user to select which classes perform adversarial attacks. Additionally, we introduce a hyperparameter rho that allows GROOT to trade off performance in the regular and adversarial settings.

研究动机与目标

• 开发一种快速且可扩展的方法，用于在实际应用中训练对对抗性样本具有鲁棒性的决策树。
• 克服现有鲁棒决策树训练方法计算效率低下的问题，这些方法过于缓慢，难以实际部署。
• 支持灵活直观的威胁模型，允许用户指定每维特征的扰动边界或方向，而非依赖于固定的范数约束。
• 引入超参数 ρ，使用户能够平衡在干净输入上的性能与对抗攻击下的鲁棒性。
• 在保持标准决策树训练效率的同时，实现最先进水平的对抗性准确率。

提出的方法

• GROOT 使用类似于标准决策树的贪心递归分裂策略，但基于对抗扰动下的最坏情况基尼不纯度来评分分裂。
• 通过闭式解解析计算对抗性基尼不纯度，实现常数时间评估，避免了昂贵的迭代优化。
• 算法将扰动样本传播至子节点，并在最坏情况攻击场景下探索更广泛的候选分裂。
• 支持用户自定义的每特征扰动约束，包括最大距离或方向边界，超越了标准的 L∞-范数假设。
• 超参数 ρ 通过相应加权损失函数，控制标准准确率与对抗鲁棒性之间的权衡。
• GROOT 使用 Python 实现，并与 scikit-learn 集成，采用相同的基尼不纯度准则和默认超参数，以确保公平比较。

实验结果

研究问题

• RQ1 我们能否实现与标准决策树训练相当计算效率的鲁棒决策树训练？
• RQ2 与基于优化的方法相比，GROOT 解析计算对抗性基尼不纯度在训练速度方面有何提升？
• RQ3 在支持灵活、用户指定的威胁模型的前提下，GROOT 能在多大程度上保持高对抗性准确率？
• RQ4 在实际应用中，超参数 ρ 如何影响自然准确率与鲁棒性之间的权衡？
• RQ5 GROOT 是否能在显著更快的速度下，超越或匹配最先进方法（如 TREANT）的对抗性准确率？

主要发现

• GROOT 实现了与最先进方法 TREANT 相当的对抗性准确率，在对抗性设置下相比标准 scikit-learn 决策树提升了约 21%。
• GROOT 的训练速度比 TREANT 快两个数量级，平均训练时间以秒计，使其适用于实际部署。
• Chen 等人提出的启发式方法在性能上与 GROOT 和 TREANT 相当，仅在一个数据集上提升了 0.8%，表明无显著优势。
• 在 blood-transfusion 和 haberman 等数据集上，普通决策树在对抗性设置下的表现与鲁棒模型相当，表明特征可分性降低了模型的脆弱性。
• 由于解析解的存在，GROOT 保持了与标准决策树相同的 O(n log n) 时间复杂度，实现了高效的可扩展性。
• 该算法对不同威胁模型具有鲁棒性，并支持灵活的扰动设定，包括每特征边界和方向约束。