[논문 리뷰] On the Hardness of Robust Classification

Pascale Gourdeau, Varun Kanade외 2명|arXiv (Cornell University)|2019. 09. 12.

Adversarial Robustness in Machine Learning인용 수 12

한 줄 요약

이 논문은 강건한 기계학습의 기본적인 계산 복잡도 및 표본 복잡도 장벽을 규명하며, 적대자가 단 한 개의 비트조차도 변형할 수 있는 상황에서 분포 자유 PAC 설정에서는 강건한 학습이 불가능하다는 것을 증명한다. 또한, 단조 조건문은 적대자가 O(log n) 비트 이하의 변형만 허용될 경우에만 강건하게 학습될 수 있으며, 외부 가정이나 모델에 의존하지 않는 새로운 직접적인 증명을 통해 강건 학습의 계산 복잡도 경계를 제시한다.

ABSTRACT

It is becoming increasingly important to understand the vulnerability of machine learning models to adversarial attacks. In this paper we study the feasibility of robust learning from the perspective of computational learning theory, considering both sample and computational complexity. In particular, our definition of robust learnability requires polynomial sample complexity. We start with two negative results. We show that no non-trivial concept class can be robustly learned in the distribution-free setting against an adversary who can perturb just a single input bit. We show moreover that the class of monotone conjunctions cannot be robustly learned under the uniform distribution against an adversary who can perturb $ω(\log n)$ input bits. However if the adversary is restricted to perturbing $O(\log n)$ bits, then the class of monotone conjunctions can be robustly learned with respect to a general class of distributions (that includes the uniform distribution). Finally, we provide a simple proof of the computational hardness of robust learning on the boolean hypercube. Unlike previous results of this nature, our result does not rely on another computational model (e.g. the statistical query model) nor on any hardness assumption other than the existence of a hard learning problem in the PAC framework.

연구 동기 및 목표

• 계산 학습 이론의 관점에서 표본 복잡도와 계산 복잡도에 중점을 두어 강건 학습의 가능성 여부를 조사한다.
• 분포 자유 설정과 균일 분포와 같은 특정 분포 하에서 강건 학습이 가능한지 여부를 규명한다.
• 단조 조건문이 여전히 강건하게 학습될 수 있는 최대 변형 강도(비트 뒤집기 수준으로 표현)를 규명한다.
• 통계 질의 모델이나 추가적인 경직성 가정에 의존하지 않는 강건 학습의 계산 복잡도 경계에 대한 새로운, 자가 포함된 증명을 제공한다.

제안 방법

• 다항 표본 복잡도와 튜링 계산 가능한 학습 알고리즘을 갖춘 강건 학습 가능성의 정의를 계산 학습 이론을 통해 수립한다.
• 정확한-공 안에서의 위험(R^E_ρ)과 일정한-공 안에서의 위험(R^C_ρ)이라는 두 가지 위험 정의를 도입하여 강건성의 서로 다른 해석을 포괄한다.
• 적대자가 단 한 개의 입력 비트조차도 변형할 수 있는 상황에서는 분포 자유 설정에서 어떤 비어 있지 않은 개념 클래스도 강건하게 학습될 수 없다는 것을 증명한다.
• 메이저리티 함수와 오류 수정 부호(예: BCH 부호)를 사용한 변환을 구성하여 개념 클래스를 강건성이 유지되는 고차원 공간으로 매핑한다.
• 기본 개념 클래스의 PAC 학습 문제를 변환된 공간에서의 k-강건 학습 문제로 감소시키며, 감소를 통해 계산 복잡도 경계를 확립한다.
• 시뮬레이션 추론을 활용한다: 만약 변환된 공간에서 강건 학습이 효율적이라면 원래 공간에서의 PAC 학습 역시 효율적이며, 이는 기존의 경직성 결과와 모순된다.

실험 결과

연구 질문

• RQ1 적대자가 입력 비트를 단 한 개만 변형할 수 있는 상황에서, 분포 자유 PAC 설정에서 어떤 비어 있지 않은 개념 클래스도 강건하게 학습될 수 있는가?
• RQ2 균일 분포 하에서 단조 조건문 클래스가 강건하게 학습될 수 있는 조건은 무엇인가?
• RQ3 적대자가 수행할 수 있는 최대 비트 변형 수는 얼마이며, 그 범위 내에서 단조 조건문의 강건 학습이 여전히 가능할 수 있는가?
• RQ4 통계 질의 모델이나 외부 경직성 가정에 의존하지 않는 강건 학습의 계산 복잡도 경계에 대한 직접적인 증명은 존재하는가?

주요 결과

• 적대자가 입력 비트를 단 한 개만 변형할 수 있는 상황에서는 분포 자유 PAC 설정에서 어떤 비어 있지 않은 개념 클래스도 강건하게 학습될 수 없다.
• 적대자가 ω(log n) 개 이상의 입력 비트를 변형할 수 있는 경우, 균일 분포 하에서 단조 조건문 클래스는 강건하게 학습될 수 없다.
• 적대자가 O(log n) 비트 이하의 변형만 허용될 경우, 단조 조건문은 균일 분포를 포함한 일반적인 분포 클래스 하에서 강건하게 학습될 수 있다.
• 통계 질의 모델이나 추가 가정 없이, 단지 PAC 프레임워크 내에서 어려운 학습 문제의 존재에 의존하는 새로운 직접적인 증명을 통해 강건 학습의 계산 복잡도 경계를 제시한다.
• BCH 부호와 같은 오류 수정 부호 구조를 사용해 입력 공간을 매핑할 경우, 강건 학습의 표본 복잡도는 변형 예산 k와 무관하게 다항식으로 유지된다.
• 강건 학습의 계산 복잡도가 높은 것은 해당 기본 클래스가 PAC-학습하기 어려운 경우에만 성립하며, 두 문제 사이에 밀접한 연결을 확립한다.