[论文解读] Evasion and Hardening of Tree Ensemble Classifiers

Alex Kantchelian, J. D. Tygar+1 more|arXiv (Cornell University)|Sep 25, 2015

Adversarial Robustness in Machine Learning参考文献 21被引用 53

一句话总结

本文提出了两种针对树集成分类器的对抗性样本生成算法：一种基于精确的混合整数线性规划（MILP）的方法，另一种基于符号预测的快速近似方法。实验表明，梯度提升树和随机森林对微小扰动极为敏感，同时提出了‘对抗性提升’（adversarial boosting）——一种在训练阶段通过添加对抗性样本增强训练数据的加固技术，显著提升了模型鲁棒性，且未损失准确性。

ABSTRACT

Classifier evasion consists in finding for a given instance $x$ the nearest instance $x'$ such that the classifier predictions of $x$ and $x'$ are different. We present two novel algorithms for systematically computing evasions for tree ensembles such as boosted trees and random forests. Our first algorithm uses a Mixed Integer Linear Program solver and finds the optimal evading instance under an expressive set of constraints. Our second algorithm trades off optimality for speed by using symbolic prediction, a novel algorithm for fast finite differences on tree ensembles. On a digit recognition task, we demonstrate that both gradient boosted trees and random forests are extremely susceptible to evasions. Finally, we harden a boosted tree model without loss of predictive accuracy by augmenting the training set of each boosting round with evading instances, a technique we call adversarial boosting.

研究动机与目标

• 系统分析随机森林和梯度提升树等树集成模型在对抗性扰动下的鲁棒性。
• 基于混合整数线性规划（MILP）开发一种新颖的精确逃避算法，用于在Lp范数（p=0,1,2,∞）下计算最优扰动。
• 设计一种快速、可扩展的近似逃避方法，利用符号预测技术对树集成模型进行有限差分估计。
• 通过在提升过程中于训练数据中添加对抗性样本，增强树集成模型对逃避攻击的防御能力。
• 通过实验评估树集成模型相较于深度神经网络（DNNs）、支持向量机（SVMs）和逻辑回归等模型的鲁棒性。

提出的方法

• 使用混合整数线性规划（MILP）计算最小Lp-范数扰动δ，使树集成模型对输入x产生误分类。
• 采用符号预测——一种新颖的快速有限差分估计技术，用于加速树集成模型上对抗性样本的生成。
• 通过在每次提升轮次中向训练集追加预算受限的对抗性样本（最多B个特征变化）来应用对抗性提升。
• 将预算B设为28（28×28图像的对角线长度），以确保扰动不可察觉，同时最大化逃避潜力。
• 利用快速符号预测结果进行热启动，以提升MILP求解器在紧致鲁棒性边界下的收敛速度。
• 通过在1,000轮提升过程中迭代使用对抗性增强数据重新训练，构建加固后的模型（BDT-R）。

实验结果

研究问题

• RQ1 随机森林和梯度提升树等树集成模型对对抗性扰动有多脆弱？
• RQ2 我们能否系统性地计算在不同Lp范数下使树集成分类器逃避所需的最小扰动？
• RQ3 我们能否开发一种快速、可扩展的方法，用于在不可微的树集成模型上生成对抗性实例？
• RQ4 在训练数据中加入对抗性样本是否能提升树集成模型的鲁棒性，同时不降低准确性？
• RQ5 树集成模型的鲁棒性与深度神经网络（DNNs）、支持向量机（SVMs）和逻辑回归等其他模型相比如何？

主要发现

• 梯度提升树和随机森林对逃避攻击的脆弱性远高于其他模型，极小的L1或L2扰动即可导致误分类。
• RBF-SVM模型在手写数字识别任务中表现出最高的鲁棒性，甚至优于深度神经网络。
• 对抗性提升成功加固了BDT模型（BDT-R），使其极难通过MILP实现最优逃避——在6核机器上，分支定界搜索持续超过1天。
• 加固后的BDT-R模型测试准确率略高于原始BDT模型，表明加固过程未造成准确率损失。
• 尽管L0鲁棒性得到提升，BDT-R在L1、L2和L∞范数下的性能显著下降，表明不同扰动类型之间存在鲁棒性权衡。
• 基于符号预测的逃避算法生成了超过1,100万个合成对抗性实例，实现了大规模对抗性训练。