[논문 리뷰] Efficient Training of Robust Decision Trees Against Adversarial Examples

Daniël Vos, Sicco Verwer|arXiv (Cornell University)|2020. 12. 18.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 11

한 줄 요약

이 논문은 분석적 방법으로 적대적 불순도를 해결함으로써 적대적 예제에 대해 강건한 의사결정나무를 훈련하는 데 빠르고 효율적인 알고리즘인 GROOT을 제안한다. 이로 인해 최신 기법 대비 두 배의 속도 향상을 이룩하면서도 경쟁 가능한 강건성을 유지한다. 사용자 정의 가능한 위협 모델을 지원하며, 자연 성능와 적대적 성능 사이의 균형을 조절할 수 있는 하이퍼파라미터 ρ를 제공한다.

ABSTRACT

In the present day we use machine learning for sensitive tasks that require models to be both understandable and robust. Although traditional models such as decision trees are understandable, they suffer from adversarial attacks. When a decision tree is used to differentiate between a user's benign and malicious behavior, an adversarial attack allows the user to effectively evade the model by perturbing the inputs the model receives. We can use algorithms that take adversarial attacks into account to fit trees that are more robust. In this work we propose an algorithm, GROOT, that is two orders of magnitude faster than the state-of-the-art-work while scoring competitively on accuracy against adversaries. GROOT accepts an intuitive and permissible threat model. Where previous threat models were limited to distance norms, we allow each feature to be perturbed with a user-specified parameter: either a maximum distance or constraints on the direction of perturbation. Previous works assumed that both benign and malicious users attempt model evasion but we allow the user to select which classes perform adversarial attacks. Additionally, we introduce a hyperparameter rho that allows GROOT to trade off performance in the regular and adversarial settings.

연구 동기 및 목표

• 실제 응용에서 적대적 예제에 강건한 의사결정나무를 훈련할 수 있는 빠르고 확장 가능한 방법을 개발하는 것.
• 기존의 강건한 의사결정나무 훈련 방법은 실용적 구현에 너무 느려서 이를 해결하는 것.
• 사용자가 각 특성에 대해 허용 가능한 변형 범위나 방향을 직접 지정할 수 있는 융통성 있고 직관적인 위협 모델을 지원하는 것.
• 사용자가 자연 입력 성능와 적대적 공격에 대한 강건성 사이의 균형을 조절할 수 있도록 하이퍼파라미터 ρ를 도입하는 것.
• 표준 의사결정나무 훈련의 효율성과 맞먹는 수준에서 최신 기술에 비해 뛰어난 적대적 정확도를 달성하는 것.

제안 방법

• GROOT는 표준 의사결정나무와 유사한 탐욕적 재귀 분할 전략을 사용하지만, 분할 점수를 적대적 변형이 발생했을 때의 최악의 경우 지니 불순도 기반으로 계산한다.
• 닫힌 형태의 해를 사용해 적대적 지니 불순도를 분석적으로 계산함으로써, 비용이 많이 드는 반복 최적화를 피하고 일정 시간 내 평가가 가능해진다.
• 알고리즘은 변형된 샘플을 자식 노드로 전파하고, 최악의 공격 시나리오 하에서 더 넓은 후보 분할 집합을 탐색한다.
• 표준 L∞-노름 가정을 넘어서, 각 특성에 대해 최대 거리나 방향 제약 조건을 포함한 사용자 정의 가능한 변형 제약 조건을 지원한다.
• 하이퍼파라미터 ρ는 손실 함수에 가중치를 적용함으로써 표준 정확도와 적대적 강건성 사이의 균형을 조절한다.
• GROOT는 파이썬으로 구현되었으며, scikit-learn과 통합되어 동일한 지니 불순도 기준과 기본 하이퍼파rameter를 사용하여 공정한 비교가 가능하다.

실험 결과

연구 질문

• RQ1 표준 의사결정나무 훈련 수준의 계산 효율성을 갖는 강건한 의사결정나무를 훈련할 수 있는가?
• RQ2 GROOT의 분석적 적대적 지니 불순도 계산 방식은 기존 최적화 기반 방법 대비 얼마나 빠른가?
• RQ3 GROOT는 사용자 정의 가능한 위협 모델을 지원하면서도 얼마나 높은 적대적 정확도를 유지할 수 있는가?
• RQ4 실제로 하이퍼파라미터 ρ는 자연 정확도와 강건성 사이의 균형에 어떤 영향을 미치는가?
• RQ5 GROOT는 TREANT와 같은 최신 기술을 능가하거나 이를 따라잡는 적대적 정확도를 달성하면서도 훨씬 더 빠른가?

주요 결과

• GROOT는 최신 기술인 TREANT와 유사한 적대적 정확도를 달성하며, 적대적 환경에서 표준 scikit-learn 의사결정나무보다 약 21% 향상된 성능을 보였다.
• GROOT는 TREANT 대비 두 배의 속도 향상을 보였으며, 평균 훈련 시간이 몇 초 내외로 실용적인 구현에 적합했다.
• Chen 등이 제안한 히우리스틱은 GROOT와 TREANT의 표준편차 내에서 성능을 보였고, 한 데이터셋에서만 0.8% 향상된 것으로 나타나 유의미한 이점이 없었다.
• 혈액 수혈 및 Haberman 데이터셋과 같이 특성 간 분리성이 높은 경우, 자연 의사결정나무가 적대적 환경에서도 강건한 모델과 유사한 성능을 보였으며, 이는 취약도가 감소함을 시사한다.
• 분석적 해를 통해 GROOT는 표준 의사결정나무와 동일한 O(n log n) 시간 복잡도를 유지하여 효율적인 확장이 가능하다.
• 알고리즘은 다양한 위협 모델에 대해 강건하며, 각 특성에 대한 제약 조건과 방향 제약 조건을 포함한 융통성 있는 변형 지정을 지원한다.