[논문 리뷰] Provable tradeoffs in adversarially robust classification

Edgar Dobriban, Hamed Hassani외 2명|arXiv (Cornell University)|2020. 06. 09.

Advanced Statistical Methods and Models인용 수 4

한 줄 요약

이 논문은 $\varepsilon$-유계 $\ell_2$ 및 $\ell_\infty$ 적대적 편향 하에서 이항 및 삼항 가우시안 혼합 모델에 대해 증명 가능하게 최적의 강건한 분류기를 도출하며, 클래스 불균형이 증가함에 따라 표준 정확도와 강건 정확도 사이의 기본적인 상충관계가 악화됨을 규명한다. 강건한 등면적 이론과 가우시안 측도 농축 도구를 사용하여 정확한 베이즈 최적 해를 수립하고, 표본 수가 유한한 경우의 경험적 강건 위험 최소화 수렴 속도를 확립한다.

ABSTRACT

It is well known that machine learning methods can be vulnerable to adversarially-chosen perturbations of their inputs. Despite significant progress in the area, foundational open problems remain. In this paper, we address several key questions. We derive exact and approximate Bayes-optimal robust classifiers for the important setting of two- and three-class Gaussian classification problems with arbitrary imbalance, for $\ell_2$ and $\ell_\infty$ adversaries. In contrast to classical Bayes-optimal classifiers, determining the optimal decisions here cannot be made pointwise and new theoretical approaches are needed. We develop and leverage new tools, including recent breakthroughs from probability theory on robust isoperimetry, which, to our knowledge, have not yet been used in the area. Our results reveal fundamental tradeoffs between standard and robust accuracy that grow when data is imbalanced. We also show further results, including an analysis of classification calibration for convex losses in certain models, and finite sample rates for the robust risk.

연구 동기 및 목표

• 클래스 불균형 하에서 적대적 강건 분류의 표준 정확도와 강건 정확도 사이의 기본 상충관계를 이해하기 위해.
• 임의의 클래스 불균형을 가진 이항 및 삼항 가우시안 모델에 대해 정확한 베이즈 최적 강건 분류기를 유도하기 위해.
• 강건 위험의 최적화 지형과 그에 상응하는 볼록 대체 손실 함수 간의 관계를 분석하기 위해.
• 저차원 설정에서 경험적 강건 위험 최소화의 유한 표본 수렴 속도를 제공하기 위해.

제안 방법

• 강건한 등면적 이론과 가우시안 측도 농축을 활용하여 $\ell_2$ 및 $\ell_\infty$ 편향 하에서 최적의 결정 경계를 특성화하였다.
• 가우시안 등면적 이론 하에서 극단적 집합을 풀어 정확한 베이즈 최적 강건 분류기를 도출하였으며, 최적의 결정은 국소적 확률 밀도가 아닌 전반적인 데이터 구조에 의존함을 보였다.
• Dvoretzky–Kiefer–Wolfowitz 부등식을 사용하여, 한 차원에서 최대 $k$개의 간격 영역을 가진 분류기들에 대해 경험적 강건 위험의 균일 농축을 확립하였다.
• 볼록 대체 손실 함수(예: 힌지, 로지스틱)의 최적화자들이 고려된 모델 하에서 비볼록 강건 0-1 손실과 일치함을 증명하였다.
• 강건 위험을 편향 반경 $\varepsilon$, 클래스 평균, 클래스 사전 확률의 함수로 분석하여 상충관계를 정량화하였다.
• 한 차원 데이터에서 최대 $2k$개의 간격 영역을 가진 분류기들에 대해 경험적 강건 위험의 유한 표본 수렴 속도를 $O(k/\sqrt{n})$로 확립하였다.

실험 결과

연구 질문

• RQ1 클래스 불균형이 존재하는 이항 및 삼항 가우시안 모델에 대해 $\ell_2$ 및 $\ell_\infty$ 적대적 공격 하에서 베이즈 최적 강건 분류기의 정확한 형태는 무엇인가?
• RQ2 클래스 불균형은 적대적 환경에서 표준 정확도와 강건 정확도 사이의 기본 상충관계에 어떻게 영향을 미치는가?
• RQ3 강건 훈련에서 사용하는 볼록 대체 손실 함수가 비볼록 강건 0-1 손실과 동일한 최적 분류기를 도출하는가?
• RQ4 한 차원 설정에서 선형 및 조각별 상수 분류기의 경험적 강건 위험 최소화의 유한 표본 수렴 속도는 무엇인가?
• RQ5 결정 영역의 $\ell_p$-구형 확장 기하학적 구조가 가우시안 모델에서 강건 위험에 어떻게 영향을 미치는가?

주요 결과

• 강건한 등면적 이론을 통한 전반적 기하 분석이 필요하며, $\ell_2$ 및 $\ell_\infty$ 편향 하에서 가우시안 혼합 모델의 베이즈 최적 강건 분류기는 국소적 분석으로는 도출될 수 없다.
• 표준 정확도와 강건 정확도 사이에 기본적인 상충관계가 존재하며, 클래스 불균형이 증가할수록 이 상충관계가 악화되어 동시에 최적화가 불가능하다.
• 한 차원 데이터에서는 최대 $2k$개의 간격 영역을 가진 분류기들에 대해 경험적 강건 위험의 수렴 속도가 $O(k/\sqrt{n})$로 균일하게 보장된다.
• 고려된 가우시안 모델 하에서 볼록 대체 손실 함수(예: 힌지, 로지스틱)의 최적화자들은 비볼록 강건 0-1 손실과 일치하며, 이는 최적 결정 규칙이 동일함을 의미한다.
• $\varepsilon$-확장된 반평면은 여전히 반평면을 유지하므로, 선형 분류기의 경우 VC 차원 기반의 균일 농축 추론가능하다.
• 최대 $k$개의 간격 영역을 가진 분류기들에 대해 강건 위험은 $O(k/\sqrt{n})$ 속도로 균일하게 농축되며, 높은 확률 $1 - 4\exp(-2n\delta^2/k^2)$로 성립한다.