[논문 리뷰] PAC-learning in the presence of evasion adversaries

Daniel Cullina, Arjun Nitin Bhagoji외 1명|arXiv (Cornell University)|2018. 06. 05.

Adversarial Robustness in Machine Learning참고 문헌 56인용 수 20

한 줄 요약

이 논문은 악성 공격자가 존재할 경우의 표본 복잡도를 특징짓기 위해 적대적 VC-차원의 개념을 도입함으로써 PAC-학습 프레임워크를 확장한다. 이는 적대적 편향이 존재하는 상황에서 표본 복잡도를 특징짓는 데 기여한다. 특히 ℓp-제약이 있는 노름 제약 조건을 가진 반공간 분류기의 경우, 적대적 VC-차원이 표준 VC-차원과 동일하다는 것을 증명하며, 이는 열린 문제를 해결하고, 강건한 학습이 본질적으로 더 많은 데이터가 필요하지 않음을 보여준다.

ABSTRACT

The existence of evasion attacks during the test phase of machine learning algorithms represents a significant challenge to both their deployment and understanding. These attacks can be carried out by adding imperceptible perturbations to inputs to generate adversarial examples and finding effective defenses and detectors has proven to be difficult. In this paper, we step away from the attack-defense arms race and seek to understand the limits of what can be learned in the presence of an evasion adversary. In particular, we extend the Probably Approximately Correct (PAC)-learning framework to account for the presence of an adversary. We first define corrupted hypothesis classes which arise from standard binary hypothesis classes in the presence of an evasion adversary and derive the Vapnik-Chervonenkis (VC)-dimension for these, denoted as the adversarial VC-dimension. We then show that sample complexity upper bounds from the Fundamental Theorem of Statistical learning can be extended to the case of evasion adversaries, where the sample complexity is controlled by the adversarial VC-dimension. We then explicitly derive the adversarial VC-dimension for halfspace classifiers in the presence of a sample-wise norm-constrained adversary of the type commonly studied for evasion attacks and show that it is the same as the standard VC-dimension, closing an open question. Finally, we prove that the adversarial VC-dimension can be either larger or smaller than the standard VC-dimension depending on the hypothesis class and adversary, making it an interesting object of study in its own right.

연구 동기 및 목표

• 악성 공격자가 테스트 입력을 인지할 수 없을 정도로 변화시킬 수 있을 때, PAC-학습의 기본 한계를 이해하기 위해.
• 감시 학습에서 악성 공격자의 영향을 가설 클래스 복잡도와 표본 복잡도에 수학적으로 기술하기 위해.
• 반공간 분류기가 적대적 조건 하에서 더 많은 학습 데이터가 필요한지 여부에 대한 열린 문제를 해결하기 위해.
• 다양한 가설 클래스와 공격자 제약 조건 하에서 적대적 VC-차원이 표준 VC-차원과 어떻게 비교되는지 특징짓기 위해.

제안 방법

• 표준 가설 클래스가 적대적 입력 편향에 영향을 받는 상황을 모델링하기 위해 손상된 가설 클래스의 개념을 도입한다.
• 주어진 공격자 모델 하에서, 손상된 가설 클래스의 VC-차원으로서 적대적 VC-차원을 정의한다.
• 통계학적 학습의 기본 정리를 적용하여, 적대적 VC-차원을 사용해 표본 복잡도 상한을 유도한다.
• 표본별로 제약을 받는 노름 제약 조건을 가진 공격자 하에서 반공간 분류기를 분석하고, 적대적 VC-차원이 표준 VC-차원과 동일하다는 것을 증명한다.
• 적대적 VC-차원이 표준 VC-차원보다 더 크거나 더 작을 수 있음을 보여주는 명시적 예를 제시함으로써, 비단조화적 행동을 입증한다.
• 조합론적 추론과 오류 패tern 분석을 사용하여 특정 가설 클래스에 대한 적대적 VC-차원의 하한을 확립한다.

실험 결과

연구 질문

• RQ1 악성 공격자가 존재할 경우, 반공간 분류기의 PAC-학습을 위한 표본 복잡도가 증가하는가?
• RQ2 다양한 가설 클래스와 공격자 제약 조건 하에서, 적대적 VC-차원은 표준 VC-차원과 어떻게 관련이 있는가?
• RQ3 통계학적 학습의 기본 정리는 적대적 입력 편향이 존재하는 설정으로 확장될 수 있는가?
• RQ4 적대적 VC-차원이 표준 VC-차원보다 엄격히 크거나 작을 수 있는 가설 클래스가 존재하는가?
• RQ5 적대적 조건 하에서 강건한 분류기의 학습 가능성에 대한 이론적 기초는 무엇인가?

주요 결과

• 표본별로 제약을 받는 노름 제약 조건을 가진 공격자 하에서, 모든 반공간 분류기 집합의 적대적 VC-차원은 표준 VC-차원과 동일하며, 이는 Schmidt 등에 의해 제기된 열린 문제를 해결한다 [65].
• 악성 공격자가 존재하는 상황에서의 PAC-학습 표본 복잡도는 적대적 VC-차원의 함수로 상한이 존재하며, 이는 통계학적 학습의 기본 정리를 적대적 환경으로 확장한 것이다.
• 손상된 분류기 가족이 적대적 영향 하에서 모든 2^d가지 가능한 오류 패턴을 달성할 수 있는 구성 예를 통해, 적대적 VC-차원이 표준 VC-차원보다 엄격히 작을 수 있음을 입증한다.
• 또한 적대적 VC-차원이 표준 VC-차원보다 엄격히 클 수 있음을 보여주며, 이는 공격자가 특정 설정에서 가설 클래스의 복잡도를 증가시킬 수 있음을 시사한다.
• 이 프레임워크는 특정 데이터 분포에 종속되지 않는 분포 무관한 이론적 기반을 제공하며, 강건성과 표본 복잡도 분석에 기여한다.
• 결과적으로, 반공간 분류기의 경우 적대적 강건성이 반드시 표본 복잡도의 추가 비용을 수반하지는 않으며, 공격 하에서 학습의 비효율성에 대한 기존의 가정을 도전한다.