[논문 리뷰] Evasion and Hardening of Tree Ensemble Classifiers

Alex Kantchelian, J. D. Tygar외 1명|arXiv (Cornell University)|2015. 09. 25.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 53

한 줄 요약

이 논문은 트리 앙상블 분류기에서 벗어나기 위한 두 가지 알고리즘을 제안한다: 정확한 혼합정수선형계획(MILP) 기반 방법과 기호 예측을 사용한 빠른 근사 방법. 기울기 부스팅 트리와 랜덤 포레스트가 작은 변형에 매우 취약하다는 것을 입증하고, 훈련 시간에 악성 예측을 강화하는 '악성 부스팅' 기법을 도입하여 정확도를 유지하면서도 강건성을 크게 향상시킨다.

ABSTRACT

Classifier evasion consists in finding for a given instance $x$ the nearest instance $x'$ such that the classifier predictions of $x$ and $x'$ are different. We present two novel algorithms for systematically computing evasions for tree ensembles such as boosted trees and random forests. Our first algorithm uses a Mixed Integer Linear Program solver and finds the optimal evading instance under an expressive set of constraints. Our second algorithm trades off optimality for speed by using symbolic prediction, a novel algorithm for fast finite differences on tree ensembles. On a digit recognition task, we demonstrate that both gradient boosted trees and random forests are extremely susceptible to evasions. Finally, we harden a boosted tree model without loss of predictive accuracy by augmenting the training set of each boosting round with evading instances, a technique we call adversarial boosting.

연구 동기 및 목표

• 랜덤 포레스트와 기울기 부스팅 트리와 같은 트리 앙상블 모델이 악성 편향에 대해 얼마나 강건한지 체계적으로 분석하기.
• Lp 노름(p=0,1,2,∞) 하에서 최적의 편향을 위한 정확한 악성 예측 알고리즘을 혼합정수선형계획(MILP)을 사용해 개발하기.
• 비가역적인 트리 앙상블에 대해 유한 차분을 사용한 빠르고 확장 가능한 악성 예측 방법 설계하기.
• 부스팅 과정 중에 훈련 데이터에 악성 예측 인스턴스를 추가하여 트리 앙상블 모델을 탈출 공격으로부터 강화하기.
• 기존 모델들인 DNN, SVM, 로지스틱 회귀와 비교하여 트리 앙상블의 강건성을 실증적으로 평가하기.

제안 방법

• 트리 앙상블가 입력 x를 잘못 분류하게 하는 최소 Lp-노름 편향 δ를 계산하기 위해 혼합정수선형계획(MILP)을 사용한다.
• 빠른 유한 차분 추정을 위한 새로운 기법인 기호 예측을 사용하여 트리 앙상블에서 악성 인스턴스 생성을 가속화한다.
• 각 부스팅 라운드에서 예산 B 이내의 악성 예측 인스턴스(최대 B개의 특성 변경)를 훈련 세트에 추가함으로써 악성 부스팅을 적용한다.
• 편향이 눈에 띄지 않으면서도 탈출 가능성을 극대화하기 위해 예산 B=28(28×28 이미지의 대각선 길이)로 설정한다.
• 강력한 강건성 한계를 확보하기 위해 빠른 기호 예측 결과를 웜스타트로 사용하여 MILP 솔버의 수렴을 향상시킨다.
• 1,000회의 부스팅 라운드 동안 반복적으로 악성 증강 데이터로 재학습하여 강화된 모델(BDT-R)을 훈련한다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트와 기울기 부스팅 트리와 같은 트리 앙상블 모델은 악성 편향에 얼마나 취약한가?
• RQ2 다양한 Lp 노름 하에서 트리 앙상블 분류기를 탈출하기 위해 필요한 최소 편향을 체계적으로 계산할 수 있는가?
• RQ3 비가역적인 트리 앙상블에 대해 빠르고 확장 가능한 악성 인스턴스 생성 방법을 개발할 수 있는가?
• RQ4 훈련 데이터에 악성 예측 예제를 추가함으로써 트리 앙상블의 강건성이 향상되고 정확도가 저하되지 않는가?
• RQ5 DNN, SVM, 로지스틱 회귀와 같은 다른 모델들과 비교해 트리 앙상블의 강건성은 어떻게 되는가?

주요 결과

• 기울기 부스팅 트리와 랜덤 포레스트는 다른 모델들보다 훨씬 더 악성 편향에 취약하며, L1 또는 L2 편향이 극히 미미한 수준이면 잘못 분류가 가능하다.
• RBF-SVM 모델이 가장 높은 강건성을 보였으며, 숫자 인식 작업에서 심층 신경망조차도 악성 강건성에서 뒤지지 않았다.
• 악성 부스팅은 BDT 모델(BDT-R)을 성공적으로 강화하여 MILP를 사용한 최적의 탈출이 매우 어려워졌다. 6코어 머신에서 1일 이상이 지난 브랜치 앤 바운드 검색이 계속되었다.
• 강화된 BDT-R 모델은 원래 BDT 모델보다 略히 높은 테스트 정확도를 달성하여 강화 과정에서 정확도 손실가 없음을 보여주었다.
• L0 강건성은 향상되었지만, L1, L2, L∞ 노름에서는 성능이 뚜렷이 열 劣화되어 다양한 유형의 편향에 대한 강건성 간의 상충 관계가 있음을 시사했다.
• 기호 예측 기반 악성 예측 알고리즘이 1,100만 개 이상의 합성 악성 예측 인스턴스를 생성하여 대규모 악성 훈련을 효과적으로 가능케 하였다.