[논문 리뷰] Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification

Dan Chen, Yuting Wei외 1명|arXiv (Cornell University)|2020. 06. 29.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 6

한 줄 요약

이 논문은 적대적 신호 대 잡음비(AdvSNR) 하에서 적대적 공격에 강건한 가우시안 분류의 최초의 최대위험 하한을 확립하며, AdvSNR $r$, 차원 $d$, 표본 크기 $n$ 에 대해 초과 위험 하한이 $\Theta(e^{-(\frac{1}{8}+o(1))r^{2}}\frac{d}{n})$ 의 주기로 됨을 증명한다. 또한 이 최적 속도를 달성하는 계산적으로 효율적인 추정기 하나를 제안하여, 공분산과 클래스 간 분리에 대한 최소한의 가정 하에 $\ell_p$-노름의 변형에 대해 날카운 통계적 보장을 제공한다.

ABSTRACT

Adversarial robustness has become a fundamental requirement in modern machine learning applications. Yet, there has been surprisingly little statistical understanding so far. In this paper, we provide the first result of the optimal minimax guarantees for the excess risk for adversarially robust classification, under Gaussian mixture model proposed by \cite{schmidt2018adversarially}. The results are stated in terms of the Adversarial Signal-to-Noise Ratio (AdvSNR), which generalizes a similar notion for standard linear classification to the adversarial setting. For the Gaussian mixtures with AdvSNR value of $r$, we establish an excess risk lower bound of order $Θ(e^{-(\frac{1}{8}+o(1)) r^2} \frac{d}{n})$ and design a computationally efficient estimator that achieves this optimal rate. Our results built upon minimal set of assumptions while cover a wide spectrum of adversarial perturbations including $\ell_p$ balls for any $p \ge 1$.

연구 동기 및 목표

• 최소한의 가정 하에 적대적 공격에 강건한 가우시안 분류에서 초과 위험의 최초의 최대위험 하한을 확립하기 위해.
• 적대적 신호 대 잡음비(AdvSNR)를 통해 강건한 분류의 통계적 한계를 기술하기 위해.
• 최적의 최대위험 수렴 속도를 달성하는 계산적으로 효율적인 추정기를 설계하기 위해.
• $\ell_\infty$-형 변형을 초월하여 임의의 $\ell_p$-노름($p \geq 1$)에 대해 일반화하기 위해.
• 조건부 가우시안 모델에서 강건성과 통계적 효율성 사이의 상호 교환 관계를 종합적으로 이해하기 위해.

제안 방법

• 적대적 편향을 통해 표준 분류 문제를 강건한 문제로 변환하는 변환을 사용하여 초과 위험에 대한 최대위험 하한을 유도한다.
• 강건성과 통계적 복잡도를 기술하기 위한 핵심 매개변수로 적대적 신호 대 잡음비(AdvSNR)를 도입한다.
• $\ell_p$-노름 구역 내의 적대적 편향을 고려한 제약 조건이 부여된 이차 최적화 문제를 해결하여 강건한 분류기를 구성한다.
• 측도 변화 추론과 표준 분포에서 강건한 분포로의 사상 관계를 통해 표준 및 강건한 초과 위험를 연결한다.
• 표준 분포에 대해 AdvSNR $r$ 이 존재할 경우, 동일한 신호 강도를 가진 강건한 분포가 존재함을 보여주는 구성적 증명을 사용한다.
• 1차 최적성 조건을 적용하여 적대적 편향 문제의 해가 요구되는 강건한 분류기와 일치함을 검증한다.

실험 결과

연구 질문

• RQ1 가우시안 혼합 모델 하에서 적대적 공격에 강건한 분류의 본질적 통계적 한계는 무엇인가?
• RQ2 적대적 신호 대 잡음비(AdvSNR)는 강건한 분류에서 최대위험 초과 위험에 어떤 영향을 미치는가?
• RQ3 계산적으로 효율적인 추정기가 강건한 가우시안 분류 설정에서 최적의 최대위험 수렴 속도를 달성할 수 있는가?
• RQ4 강건한 분류의 통계적 보장은 표준(비적대적) 설정의 경우와 비교해 어떻게 다른가?
• RQ5 결과는 임의의 $\ell_p$-노름의 적대적 편향에 대해 얼마나 일반화될 수 있는가?

주요 결과

• 적대적 공격에 강건한 가우시안 분류에서의 최대위험 하한은 AdvSNR $r$, 차원 $d$, 표본 크기 $n$ 에 대해 $\Omega_P(\exp(-(\frac{1}{8}+o(1))r^2)\frac{d}{n})$ 의 주기로 된다.
• 계산적으로 효율적인 추정기가 초과 위험가 $O_P(\exp(-(\frac{1}{8}+o(1))r^2)\frac{d}{n})$ 의 주기로 수렴함을 구성하여, 하한과 하위항 이외에는 일치함을 보였다.
• 모든 가정이 최소한일 경우에도 결과가 성립하며, 공분산 행렬이 알려져 있지 않거나 임의일 수 있으며, 클래스 간 분리가 필요하지 않다.
• 프레임워크는 $\ell_\infty$-형 편향을 초월하여 $p \geq 1$ 인 모든 $\ell_p$-노름으로 일반화된다.
• 강건한 초과 위험은 변환된 분포의 표준 초과 위험에 의해 하한이 정해지며, 이는 표준 분류 설정으로의 환원을 가능하게 한다.
• 분석 결과, 적대적 강건성은 AdvSNR의 제곱에 따라 지수적으로 증가하는 통계적 비용을 수반하며, 강건성과 정확성 사이의 본질적 상호 교환 관계를 정량화한다.