[논문 리뷰] Black-box Certification and Learning under Adversarial Perturbations

Hassan Ashtiani, Vinayak Pathak외 1명|arXiv (Cornell University)|2020. 06. 30.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 제한된 쿼리 액세스 하에서 악성 공격에 대한 강건성에 대한 블랙박스 인증을 위한 형식적 프레임워크를 제안하며, 공격자의 쿼리 복잡도와 강건 학습의 샘플 복잡도 사이의 관계를 규명한다. 만약 공격자가 효율적으로 악성 예제를 찾을 수 있다면(다항식 쿼리 복잡도), 적절히 압축 가능한 가설 클래스에 대해 강건 학습이 샘플 효율적으로 가능하며, 이 경우 샘플 수의 상한은 $ O(t\log^2 t) $ 이다. 여기서 $ t = \mathrm{VC}({\mathcal{H}})/\epsilon^2 $ 이다.

ABSTRACT

We formally study the problem of classification under adversarial perturbations from a learner's perspective as well as a third-party who aims at certifying the robustness of a given black-box classifier. We analyze a PAC-type framework of semi-supervised learning and identify possibility and impossibility results for proper learning of VC-classes in this setting. We further introduce a new setting of black-box certification under limited query budget, and analyze this for various classes of predictors and perturbation. We also consider the viewpoint of a black-box adversary that aims at finding adversarial examples, showing that the existence of an adversary with polynomial query complexity can imply the existence of a sample efficient robust learner.

연구 동기 및 목표

• 클래스피어에 대한 오라클 액세스만 제공될 때 블랙박스 인증을 통해 악성 공격에 대한 강건성을 형식화하는 것.
• 반감독 학습 및 쿼리 제한 조건 하에서 강건 학습이 가능한 조건을 조사하는 것.
• 악성 공격자의 쿼리 복잡도와 강건 학습의 샘플 복잡도 간의 관계를 탐색하는 것.
• 흑백 데이터의 무한한 수의 레이블이 없는 데이터가 강건성 인증에서 데이터 분포에 대한 지식을 대체할 수 있는 경우를 식별하는 것.
• 악성 편향 하에서 압축 기반 추론을 사용하여 강건 가능성의 이론적 한계를 설정하는 것.

제안 방법

• 악성 편향 하에서 강건 분류를 위한 PAC 유형의 반감독 학습 프레임워크를 도입한다.
• 가설 클래스와 편향 유형에 따라 관련된 마진 클래스를 정의하여 강건성 복잡도를 분석한다.
• 특정 가설 및 편향 클래스에 대해 유한 쿼리 블랙박스 인증을 가능하게 하는 '증거 집합' 개념을 제안한다.
• 효율적인 악성 쿼리 액세스가 샘플 효율적인 강건 학습을 암시함을 보이기 위해 압축 기반 학습 추론을 적응한다.
• 완벽하고 적절하며 효율적인 공격자를 사용하여 훈련 세트를 악성 쿼리로 확장하고, 확장된 세트에서 표준 압축을 가능하게 한다.
• 강건 일반화 오차를 압축-학습 연결을 활용하여 확장된 세트에서의 이진 분류 오차로 환원한다.

실험 결과

연구 질문

• RQ1 한정된 수의 쿼리만을 사용할 때 어떤 조건에서 블랙박스 분류기가 강건하다고 인증될 수 있는가?
• RQ2 악성 공격자의 쿼리 복잡도는 어떤 식으로 강건하게 학습된 가설 클래스의 샘플 복잡도와 관련이 있는가?
• RQ3 흑백 데이터에서 유한한 수의 레이블이 없는 데이터가 블랙박스 인증에서 데이터 분포에 대한 전체 지식을 대체할 수 있는가?
• RQ4 마진 클래스의 복잡도가 간단한 경우, 유한한 VC-차원 클래스의 강건 학습은 악성 편향 하에서 가능할 수 있는가?
• RQ5 악성 공격자가 다항식 쿼리 복잡도를 가질 경우, 강건 학습의 샘플 복잡도는 얼마인가?

주요 결과

• 완벽하고 적절하며 효율적인 공격자가 특정 가설 클래스에 존재한다면, $ O(t\log^2 t) $개의 샘플로 강건 학습이 가능하며, 여기서 $ t = \mathrm{VC}({\mathcal{H}})/\epsilon^2 $ 이다. 이는 거의 최적의 샘플 효율성을 암시한다.
• 적절히 압축 가능한 클래스에 대해 다항식 쿼리 공격자가 존재한다면, 강건 학습은 표준 PAC 학습만큼 샘플을 많이 소비하지는 않는다.
• 블랙박스 인증은 특정 클래스와 편향 유형에 대해서만 유한한 쿼리로 가능하며, 다른 경우에는 쿼리 복잡도가 유계가 아니다.
• 마진 클래스의 VC-차원은 핵심적인 역할을 한다: 만약 가설 클래스와 그 마진 클래스 양쪽의 VC-차원이 낮다면, 강건 학습은 표준 학습만큼 어렵지 않다.
• 악성 쿼리로 확장된 세트를 통해 강건 학습을 표준 압축으로 환원하는 방법은 이전에 알려진 바보다 더 날카운 샘플 복잡도 상한을 가능하게 한다.
• 주요 결과의 대우는 만약 강건 학습이 어렵다면, 악성 예제를 찾는 것도 어렵다는 것을 암시하며, 이는 악성 탐색과 학습 복잡도 사이에 본질적인 연결 고리를 시사한다.