[논문 리뷰] Verifying Robustness of Gradient Boosted Models

Gil Einziger, Maayan Goldstein외 2명|arXiv (Cornell University)|2019. 06. 26.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 6

한 줄 요약

이 논문은 SMT 공식으로 표현된 기울기 부스팅 모델을 사용하여, 표준 SMT 솔버를 활용해 적대적 방어성에 대한 공식적 검증을 수행할 수 있는 VeriGB를 소개한다. 이는 기울기 부스팅 모델의 방어성에 대한 공식적 검증을 위한 첫 번째 도구이다. 이는 대규모 모델에서도 확장 가능하며, 유사한 정확도를 가진 경우에도 얕은 트리가 깊은 트리보다 본질적으로 더 방어성이 높다는 것을 발견한다.

ABSTRACT

Gradient boosted models are a fundamental machine learning technique. Robustness to small perturbations of the input is an important quality measure for machine learning models, but the literature lacks a method to prove the robustness of gradient boosted models. This work introduces VeriGB, a tool for quantifying the robustness of gradient boosted models. VeriGB encodes the model and the robustness property as an SMT formula, which enables state of the art verification tools to prove the model's robustness. We extensively evaluate VeriGB on publicly available datasets and demonstrate a capability for verifying large models. Finally, we show that some model configurations tend to be inherently more robust than others.

연구 동기 및 목표

• 기울기 부스팅 모델에 대한 공식적 검증 방법의 부족을 해결하기 위해, 널리 사용되지만 적대적 변형에 취약한 기울기 부스팅 모델에 대해 검증 기법을 개발한다.
• 기울기 부스팅 모델의 방어성 검증을 위한 확장 가능하고 공식적으로 올바른 방법을 개발하며, 신경망 검증에 대한 광범위한 연구에도 불구하고 이 분야의 빈도가 높은 연구 갭을 메운다.
• 모델 설정 파라미터—특히 트리 깊이—가 본질적 방어성에 미치는 영향을 조사한다.
• 실세계 데이터셋에 대해 방어성을 증명하거나 반례를 생성할 수 있는 실용적인 검증 도구를 제공한다.

제안 방법

• VeriGB는 선형 산술과 결정 트리 의미 체계를 사용하여 기울기 부스팅 모델을 SMT 공식으로 인코딩하여, 표준 솔버를 활용한 공식적 검증을 가능하게 한다.
• 방어성 성질은 입력이 지정된 에프실론 범위 내에서 변형되더라도 모델 출력이 변화하지 않는다는 논리적 제약 조건으로 표현된다.
• 이 방법은 회귀 및 분류 작업 모두를 지원하며, 모델 의미 체계를 유지하는 것을 보장하기 위해 공식적 정확성 증명을 사용한다.
• 실행 시간 최적화를 위해 SMT 인코딩에 공식 간소화 및 효율적 노드 순회 기법을 적용하여 확장성을 향상시킨다.
• SMT 해결 기법을 활용하여, 방어성이 성립하면 이를 증명하거나, 실패할 경우 구체적인 적대적 예외를 반환한다.
• 도구는 MNIST를 포함한 세 개의 공개 데이터셋에서 평가되었으며, 수백 개의 트리로 구성된 높은 정확도의 모델에 대해서도 확장 가능함을 보였다.

실험 결과

연구 질문

• RQ1 SMT 해결 기반의 공식적 검증 기법이, 신경망과 근본적으로 다른 기울기 부스팅 모델에 효과적으로 적용될 수 있는가?
• RQ2 트리 깊이 및 추정기 수와 같은 초모수가 기울기 부스팅 모델의 본질적 방어성에 어떤 영향을 미치는가?
• RQ3 실제로 사용되는 대규모 정확한 기울기 부스팅 모델에 대해서도 검증 과정이 확장 가능한가?
• RQ4 모델의 신뢰도가 방어성과 상관이 있는가, 아니면 다른 구조적 요소가 더 예측력이 있는가?

주요 결과

• VeriGB는 MNIST를 포함한 공개 데이터셋에서 대규모 기울기 부스팅 모델의 방어성을 성공적으로 검증하였다. 이는 수백 개의 트리를 포함한 모델을 대상으로 하였다.
• 작은 트리 깊이(예: 깊이 3–5)를 가진 모델는 정확도가 유사한 경우에도 방어성이 크게 높았으며(ε=1일 때 최대 72.5%의 방어성), 깊은 트리보다 유의미하게 높았다.
• 높은 분류 신뢰도가 항상 방어성을 보장하지는 않으며, 일부 높은 신뢰도 모델은 작은 적대적 변형에도 여전히 취약함을 확인하였다.
• 방어성이 실패할 경우 도구는 구체적인 반례를 생성할 수 있으며, 이는 학습 중 모델의 방어성을 향상시키는 데 활용될 수 있다.
• 얕은 트리 구조와 방어성 향상 사이에 강한 상관관계가 있으며, 일반화와 방어성 간의 연관성을 시사한다.
• SMT 기반 인코딩은 공식적으로 정확성이 입증되었으며, 효과적으로 확장 가능하여 이전에는 기존 방법으로는 해결이 어려웠던 모델의 검증을 가능하게 하였다.