[논문 리뷰] A General Retraining Framework for Scalable Adversarial Classification

Bo Li, Yevgeniy Vorobeychik외 1명|arXiv (Cornell University)|2016. 04. 09.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 22

한 줄 요약

이 논문은 임의의 에비전 오라클을 사용하여 반복적으로 악성 예제를 생성하고 통합함으로써 어떤 기계학습 분류기의 오용에 대한 강건성을 향상시키는 일반적인 재학습 프레임워크 RAD를 제안한다. 이는 최적의 악성 위험에 대한 상한선을 최소화함으로써 스케일러비리티를 보장하며, 기존의 10~30개의 특성에 국한된 방법들과는 달리 수천 개의 특성까지도 처리할 수 있다. 이로 인해 높은 정확도를 유지하면서도 기초 학습 알고리즘을 수정하지 않고도 크게 뛰어난 성능을 발휘한다.

ABSTRACT

Traditional classification algorithms assume that training and test data come from similar distributions. This assumption is violated in adversarial settings, where malicious actors modify instances to evade detection. A number of custom methods have been developed for both adversarial evasion attacks and robust learning. We propose the first systematic and general-purpose retraining framework which can: a) boost robustness of an \emph{arbitrary} learning algorithm, in the face of b) a broader class of adversarial models than any prior methods. We show that, under natural conditions, the retraining framework minimizes an upper bound on optimal adversarial risk, and show how to extend this result to account for approximations of evasion attacks. Extensive experimental evaluation demonstrates that our retraining methods are nearly indistinguishable from state-of-the-art algorithms for optimizing adversarial risk, but are more general and far more scalable. The experiments also confirm that without retraining, our adversarial framework dramatically reduces the effectiveness of learning. In contrast, retraining significantly boosts robustness to evasion attacks without significantly compromising overall accuracy.

연구 동기 및 목표

• 기존의 악성 강건성 방법들이 특정 모델이나 작은 특성 집합에 국한되어 있음에 비해, 이들의 확장성과 일반성에 대한 핵심적 격차를 메우기 위해.
• 기초 학습 알고리즘을 수정하지 않고도 넓은 범위의 오용 공격에 강건성을 향상시킬 수 있는 체계적이고 즉시 통합 가능한 재학습 프레임워크를 개발하기 위해.
• 이 프레임워크의 이론적 타당성을 입증하기 위해, 최적의 악성 위험에 대한 상한선을 최소화함으로써, 조작된 공격 모델 조건 하에서도 성립함을 보여주기 위해.
• 실험적으로 RAD가 자동화된 공격 전략뿐 아니라 인간 기반의 오용 전략에 대해서도 강건성을 크게 향상시키면서도, 전체 분류 정확도를 유지함을 검증하기 위해.

제안 방법

• RAD는 오용 오라클을 통해 생성된 악성 예제를 학습 데이터에 통합함으로써 분류기의 강건성을 향상시키는 일반적인 재학습 루프를 사용한다.
• 이 프레임워크는 학습자와 공격자 간의 스택엘베르그 게임의 이중 최적화 공식화로부터 유도된 악성 위험에 대한 상한선을 최소화한다.
• 최적화 기반 모델(예: 랜덤 재시작이 포함된 좌표 강하법)과 데이터 기반 모델(예: 인간 주제 실험에서 유도된 인간의 오용 행동)을 포함한 임의의 오라클을 지원한다.
• 이 방법은 이산 및 연속 특성 공간 양쪽에서 효율적으로 오용 공격을 근사하기 위해 좌표 기반 탐색 기반의 근사적 탐색 알고리즘을 사용한다.
• 오라클이 근사적일 경우에도 이론적 보장을 확장하기 위해 악성 위험 상한선의 확률적 완화 기법을 사용한다.
• 기초 학습 알고리즘에 종속되지 않도록 설계되어 있어, SVM, 로지스틱 회귀, 신경망 등 어떤 분류기와도 즉시 통합 가능하다.

실험 결과

연구 질문

• RQ1 임의의 학습 알고리즘과 오용 모델에 대해 악성 강건성을 향상시킬 수 있는 일반적인 재학습 프레임워크를 설계할 수 있는가?
• RQ2 악성 위험에 대한 상한선을 최소화하는 것이 정확도 손실을 최소화하면서도 실질적인 강건성 향상에 기여하는가?
• RQ3 오라클이 근사적이거나 최적화가 아닌 인간 행동 기반일 경우, 프레임워크의 성능은 어떻게 되는가?
• RQ4 기존의 악성 위험 최소화 방법들과 비교해, 고차원 데이터(예: 수천 개의 특성)에 대해 얼마나 잘 스케일링되는가?
• RQ5 프레임워크가 생성한 합성 악성 예제는 실제 인간의 오용 행동을 효과적으로 모델링할 수 있는가?

주요 결과

• RAD는 최적의 악성 위험을 최소화하는 최신 기술 수준의 방법들과 거의 동일한 악성 강건성을 달성하지만, 기존의 10~30개 특성 제한을 뛰어넘어 수천 개의 특성까지 처리할 수 있는 뛰어난 확장성을 보인다.
• 정상 테스트 데이터에 대한 전체 정확도를 유지하거나 향상시키며, 이는 악성 재학습이 일반화 능력을 향상시킨다는 것을 시사한다.
• 좌표 강하법과 랜덤 재시작을 포함한 근사 오라클을 사용한 경우에도 RAD는 악성 위험에 대한 탴밀한 확률적 상한선을 확보하여 이론적 강건성을 확인한다.
• 인간 기반 오용 모델을 사용한 실험 결과, RAD로 학습된 분류기는 여전히 매우 강건한 성능을 유지하며, 합성 악성 예제가 실제 인간의 오용 전략을 효과적으로 모델링하고 있음을 시사한다.
• RAD로 재학습한 분류기는 공격자가 수행하는 쿼리 수에 관계없이 거의 오용 공격에 민감하지 않게 되며, 강력한 저항성을 보여준다.
• 비악성 기반 베이스라인과 비교해도, 스팸 필터링 및 수기 숫자 인식 작업 모두에서 RAD는 기존의 악성 강건성에 특화되지 않은 베이스라인 모델조차도 압도적으로 뛰어난 성능을 발휘한다.