[논문 리뷰] An Efficient Adversarial Attack for Tree Ensembles

Chong Zhang, Huan Zhang외 1명|arXiv (Cornell University)|2020. 10. 22.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 7

한 줄 요약

이 논문은 XGBoost와 랜덤 포레스트와 같은 트리 앙상블 모델을 대상으로 하는 새로운 이산 탐색 기반 적대적 공격인 LT-Attack을 제안한다. 이는 공격를 해밍 거리-1 이웃 영역 내의 리프 튜플 최적화로 재정의하여 최소한의 변형을 찾는다. 이는 MILP 대비 최대 80,000배 빠른 속도를 기록하며, 결정 기반 공격보다 더 작은 변형을 생성하여 트리 앙상블의 강건성 평가를 위한 실용적인 기준이 된다.

ABSTRACT

We study the problem of efficient adversarial attacks on tree based ensembles such as gradient boosting decision trees (GBDTs) and random forests (RFs). Since these models are non-continuous step functions and gradient does not exist, most existing efficient adversarial attacks are not applicable. Although decision-based black-box attacks can be applied, they cannot utilize the special structure of trees. In our work, we transform the attack problem into a discrete search problem specially designed for tree ensembles, where the goal is to find a valid "leaf tuple" that leads to mis-classification while having the shortest distance to the original input. With this formulation, we show that a simple yet effective greedy algorithm can be applied to iteratively optimize the adversarial example by moving the leaf tuple to its neighborhood within hamming distance 1. Experimental results on several large GBDT and RF models with up to hundreds of trees demonstrate that our method can be thousands of times faster than the previous mixed-integer linear programming (MILP) based approach, while also providing smaller (better) adversarial examples than decision-based black-box attacks on general $\ell_p$ ($p=1, 2, \infty$) norm perturbations. Our code is available at https://github.com/chong-z/tree-ensemble-attack.

연구 동기 및 목표

• GBDT 및 랜덤 포레스트와 같은 트리 기반 앙상블 모델에 대해 효율적이고 고품질의 적대적 공격 방법이 부족한 문제를 해결하기 위해.
• 미분 가능하지 않고 조각별로 일정한 트리 모델에 대해 기울기 기반 및 결정 기반 공격의 한계를 극복하기 위해.
• 이산적 구조를 활용하면서도 최소한의 적대적 변형을 찾는 실용적이고 확장 가능한 방법을 개발하기 위해.
• FGSM이나 PGD와 같은 신경망 모델에 대한 기준과 유사한 트리 앙상블 모델의 강건성 평가를 위한 기준 도구를 제공하기 위해.

제안 방법

• 연속적인 입력 공간을 각 트리의 리프 수 N과 트리의 수 K에 따라 {1,2,...,N}^K 형태의 이산적 리프 튜플 공간으로 변환한다.
• 입력 간의 거리를 리프 튜플 간의 해밍 거리로 정의함으로써 이산 최적화를 가능하게 한다.
• 해밍 거리 1 이내의 이웃 튜플 중 가장 우수한 튜플으로 리프 튜플을 반복적으로 이동시켜 적대적 예제를 개선한다.
• 트리 예측의 독립성을 활용하여 이웃 영역을 탐색하는 탐욕 전략을 사용한다.
• 오차가 발생하도록 보장하면서도 최소한의 ℓp (p=1,2,∞) 노름 변형을 최적화한다.
• 기울기 계산 및 수치 추정을 피하는 이산 탐색 프레임워크를 활용하여 효율적이고 효과적인 방법을 확보한다.

실험 결과

연구 질문

• RQ1 이산 탐색 기반 방법이 트리 앙상블 모델에 대해 기존의 기울기 기반 및 결정 기반 공격보다 효율성과 변형 품질 측면에서 뛰어나게 성능을 낼 수 있는가?
• RQ2 이산 리프 튜플 공간에서 경량의 탐욕 알고리즘을 사용하여 트리 앙상블 모델에 대해 거의 최적의 적대적 예제를 도출할 수 있는가?
• RQ3 MILP 기반 정확한 해법과 결정 기반 블랙박스 공격 대비 이 방법의 속도와 변형 크기 측면에서의 성능 비교는 어떠한가?
• RQ4 이 방법은 다양한 복잡도와 크기를 가진 트리 앙상블 모델과 데이터셋에 일반화될 수 있는가?
• RQ5 초기 예제 수가 공격의 품질과 효율성에 미치는 영향은 어떠한가?

주요 결과

• HIGGS와 같은 대규모 모델에서 LT-Attack은 MILP 대비 최대 80,000배 빠른 속도를 기록하며, 테스트 예제당 0.237초로, MILP의 375초 대비 빠르다.
• MNIST에서 LT-Attack은 최적의 MILP 해보다 ℓ∞ 변형 크기가 2.07배 뿐이지만, MILP 대비 1,580배 더 빠르다.
• ℓ2 노름의 경우, 9개 데이터셋 중 7개에서 평균 비율 ¯r/r∗가 1.00을 기록하여 거의 최적의 변형 품질을 확보한다.
• Fashion-MNIST에서 LT-Attack은 최적의 ℓ2 변형의 1.33배를 기록했으며, HSJA의 2.15배 및 Cube의 4.59배보다 우수하고, MILP 대비 93배 빠른 속도를 기록한다.
• 모든 데이터셋에서 변형 크기에 대한 엄격한 경계를 유지하며, covtype 및 HIGGS와 같은 대규모 모델에서도 ℓ2 비율이 1.00에 매우 가까운 수준을 유지한다.
• 실행 시간 분석 결과, LT-Attack은 모든 데이터셋에서 SignOPT, HSJA, Cube보다 일관되게 더 빠르며, 속도 향상은 14배에서 80,000배에 이른다.