[논문 리뷰] Robust Decision Trees Against Adversarial Examples

Hongge Chen, Huan Zhang외 2명|arXiv (Cornell University)|2019. 02. 27.

Adversarial Robustness in Machine Learning인용 수 40

한 줄 요약

논문은 general한 robust 학습 프레임워크를 의사결정 트리와 boosting 트리에 대해 개발하여 adversarial perturbations에 저항하도록 max-min objective를 형성하고 실용적 확장성을 가진 강건한 분할을 근사한다.

ABSTRACT

Although adversarial examples and model robustness have been extensively studied in the context of linear models and neural networks, research on this issue in tree-based models and how to make tree-based models robust against adversarial examples is still limited. In this paper, we show that tree based models are also vulnerable to adversarial examples and develop a novel algorithm to learn robust trees. At its core, our method aims to optimize the performance under the worst-case perturbation of input features, which leads to a max-min saddle point problem. Incorporating this saddle point objective into the decision tree building procedure is non-trivial due to the discrete nature of trees --- a naive approach to finding the best split according to this saddle point objective will take exponential time. To make our approach practical and scalable, we propose efficient tree building algorithms by approximating the inner minimizer in this saddle point problem, and present efficient implementations for classical information gain based trees as well as state-of-the-art tree boosting models such as XGBoost. Experimental results on real world datasets demonstrate that the proposed algorithms can substantially improve the robustness of tree-based models against adversarial examples.

연구 동기 및 목표

• 트리 기반 모델이 신경망과 유사하게 adversarial 예제에 취약하다는 점을 입증한다.
• worst-case input perturbations를 목표로 하는 의사결정 트리를 위한 일반적인 강건 학습 프레임워크를 제안한다.
• 고전적 정보 이득 트리와 XGBoost와 같은 현대 GBDT 방법과 호환되는 강건한 분할에 대한 확장 가능한 근사치를 개발한다.
• 다양한 공격 방법을 사용하여 실제 데이터세트에서 강건성 향상을 평가한다.

제안 방법

• 각 예제 주위의 ell-infty 구역에서의 교란에 대해 max-min 최적화로 강건한 분할 선택을 형식화한다.
• j-번째 특성이 분할 임계값 근처에 놓이는 점들의 불확실성 집합 Delta I를 정의하고, 최악의 경우 교란을 모델링하기 위해 이진 할당 변수를 도입한다.
• 실용적인 두 가지 근사치를 제공한다: (1) 정보 이득 기반 트리에 대한 강건한 분할로 분할당 O(d|I|^2) 복잡도, (2) 효율성을 위한 네 가지 대표 케이스를 사용하는 부스팅 트리에 대한 강건한 분할.
• 그레이디언트 부스팅 의사결정 트리로 프레임워크를 확장하기 위해 이차 손실 테일러 확장을 이용한 분할 점수와 XGBoost와 유사한 표준 스코어링을 표현한다.
• 확장 가능한 학습을 가능하게 하기 위해 알고리즘 구현을 제공한다(강건 정보 이득 트리를 위한 Algorithm 1, 강건 부스팅 트리를 위한 Algorithm 2).

실험 결과

연구 질문

• RQ1 트리 기반 모델이 신경망과 유사하게 adversarial 예제에 취약하다는 점을 입증할 수 있는가?
• RQ2 어떤 최대-최소 objective를 정의하여 교란에 대해 강건성을 개선하고 계산 비용을 과도하게 증가시키지 못하는가?
• RQ3 전통적인 의사결정 트리와 XGBoost와 같은 현대 부스팅 프레임워크에서 강건한 분할을 효율적으로 구현할 수 있는가?
• RQ4 강건한 학습이 실제 데이터에서 강건성 및 정확도에 미치는 실증적 영향은 무엇인가?

주요 결과

• 트리 기반 모델도 신경망처럼 adversarial 예제에 취약하다.
• 최대-최소 강건 학습 목표를 트리 구축 과정에 도입하여 교란 하에서의 worst-case 성능을 최적화할 수 있다.
• 정보 이득 트리와 부스팅 트리 모두에 대해 강건한 분할을 가능하게 하는 효율적 근사치를 통해 XGBoost와 같은 대형 모델에도 확장 가능하게 만들 수 있다.
• 강건 트리에서의 실험은 adversarial 공격에 대한 강건성 향상을 보여주며, 때로는 자연스러운 트리보다 테스트 정확도가 같거나 더 높은 경우도 있다.
• 강건 학습은 성공적인 adversarial 오분류를 위한 필요 교란(L-infinity 노름)을 증가시키며 강건성이 향상되었음을 시사한다.