[논문 리뷰] Provably Robust Boosted Decision Stumps and Trees against Adversarial Attacks

Maksym Andriushchenko, Matthias Hein|arXiv (Cornell University)|2019. 06. 08.

Adversarial Robustness in Machine Learning참고 문헌 70인용 수 15

한 줄 요약

이 논문은 $l_\infty$-노름 적대적 공격에 대해 부스팅된 결정 심판과 트리에 대한 증명 가능하게 강건한 훈련을 제안하며, 각 입력당 $O(T\log T)$ 시간 내에 심판에 대한 강건한 손실을 정확히 계산하고 트리에 대한 강건한 손실의 날카운 상한을 효율적으로 최적화합니다. MNIST(\epsilon_\infty=0.3일 때 12.5%), FMNIST(\epsilon_\infty=0.1일 때 23.2%), CIFAR-10(\epsilon_\infty=8/255일 때 74.7%)에서 최신 기술 수준의 강건한 테스트 오차를 달성하였으며, 정확한 적대적 예제를 통해 향상된 강건성을 확인하였습니다.

ABSTRACT

The problem of adversarial robustness has been studied extensively for neural networks. However, for boosted decision trees and decision stumps there are almost no results, even though they are widely used in practice (e.g. XGBoost) due to their accuracy, interpretability, and efficiency. We show in this paper that for boosted decision stumps the extit{exact} min-max robust loss and test error for an $l_\infty$-attack can be computed in $O(T\log T)$ time per input, where $T$ is the number of decision stumps and the optimal update step of the ensemble can be done in $O(n^2\,T\log T)$, where $n$ is the number of data points. For boosted trees we show how to efficiently calculate and optimize an upper bound on the robust loss, which leads to state-of-the-art robust test error for boosted trees on MNIST (12.5% for $ε_\infty=0.3$), FMNIST (23.2% for $ε_\infty=0.1$), and CIFAR-10 (74.7% for $ε_\infty=8/255$). Moreover, the robust test error rates we achieve are competitive to the ones of provably robust convolutional networks. The code of all our experiments is available at http://github.com/max-andr/provably-robust-boosting

연구 동기 및 목표

• 부스팅된 결정 심판과 트리에 대해 증명 가능 강건한 훈련 방법의 부족을 해결하기 위해, 실용적으로 널리 사용되는 효율성과 해석 가능성 덕분입니다.
• 부스팅된 결정 심판에 대해 $l_\infty$-노름 편향에 대한 정확한 최소-최대 강건한 손실을 효율적으로 계산하는 알고리즘을 개발하기 위해.
• 부스팅된 결정 트리에 대한 강건한 손실에 대한 날카운 상한을 유도하고 최적화하여 증명 가능 강건성 보장을 달성하기 위해.
• 제안된 방법이 최신 기술 수준의 증명 가능 강건한 신경망과 비교해 경쟁 가능한 강건한 테스트 오차율을 달성하는지 확인하기 위해.

제안 방법

• 부스팅된 결정 심판의 경우, $l_\infty$-제한된 편향에 대한 최소-최대 최적화 문제를 해결함으로써 입력당 $O(T\log T)$ 시간 내에 강건한 손실을 정확히 계산합니다.
• 전체 앙상블의 전역 최적 업데이트는 $n$개의 훈련 포인트가 있을 때 입력당 $O(n^2 T \log T)$ 시간 내에 정확한 강건한 손실를 최소화함으로써 달성됩니다.
• 부스팅된 트리의 경우, 심판 수준의 강건성에 기반하여 강건한 손실에 대한 엄밀한 상한을 도출하며, 이는 $l$개의 리프가 있을 때 $O(T l)$ 시간 내에 계산할 수 있습니다.
• 이 상한은 훈련 중에 입력당 $O(n^2 l)$ 시간 내에 최소화되어, 효율적이고 증명 가능한 강건한 트리 앙상블 학습을 가능하게 합니다.
• 강건성 확인을 위해 큐브 공격에 기반한 이진 탐색을 통해 적대적 예제를 생성하며, 편향을 시각화하여 강건한 모델에 미치는 영향이 최소임을 확인합니다.

실험 결과

연구 질문

• RQ1 부스팅된 결정 심판 앙상블에 대해 $l_\infty$-노름 편향 하에서 정확한 최소-최대 강건한 손실을 효율적으로 계산할 수 있는가?
• RQ2 근사 없이 강건한 손실 최소화를 통해 부스팅된 결정 심판 앙상블의 최적 업데이트 단계를 직접 계산할 수 있는가?
• RQ3 심판 수준의 강건성에 기반하여 부스팅된 결정 트리에 대한 강건한 손실에 대한 날카운이고 효율적으로 계산 가능한 상한을 도출할 수 있는가?
• RQ4 이 상한을 최적화하면 표준 벤치마크에서 트리 앙상블에 대해 최신 기술 수준의 강건한 테스트 오차를 달성할 수 있는가?

주요 결과

• 부스팅된 결정 심판에 대해 입력당 $O(T\log T)$ 시간 내에 정확한 강건한 손실을 계산할 수 있어, 효율적이고 증명 가능한 강건한 훈련이 가능합니다.
• 입력당 $O(n^2 T \log T)$ 시간 내에 앙상블의 전역 최적 업데이트를 달성하여, 최상의 가능한 강건한 모델로 수렴함을 보장합니다.
• 부스팅된 트리의 경우 유도된 강건한 손실 상한은 날카롭고, 증명 가능한 강건성 보장을 위한 훈련을 가능하게 합니다.
• 이 방법은 MNIST(\epsilon_\infty=0.3일 때 12.5%), FMNIST(\epsilon_\infty=0.1일 때 23.2%), CIFAR-10(\epsilon_\infty=8/255일 때 74.7%)에서 최신 기술 수준의 강건한 테스트 오차를 달성합니다.
• 강건한 모델의 적대적 예제는 일반 모델에 비해 훨씬 큰 $l_\infty$-노름 편향(일반적으로 $\|\delta\|_\infty > 0.3$)을 요구하며, 이는 향상된 강건성을 확인합니다.