[논문 리뷰] Adversarial Risk and Robustness: General Definitions and Implications for the Uniform Distribution

Dimitrios I. Diochnos, Saeed Mahloujifar외 1명|arXiv (Cornell University)|2018. 10. 29.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 적대적 위험과 강건성 정의에 대한 엄밀한 분류 체계를 제안하며, 오류 영역 정의가 오분류를 보장하는 데 가장 신뢰할 수 있는 것으로 주장한다. 균일 분포를 가진 {0,1}^n 위에서 입력이 주어질 경우, 初기 오류율이 0.01인 어떤 분류기라도 O(√n) 허밍 거리의 적대적 편향에 취약하며, 이는 위험도를 0.5 또는 1로 끌어올릴 수 있음을 보여주며, 이는 균일 분포 하에서 본질적인 취약성을 시사한다.

ABSTRACT

We study adversarial perturbations when the instances are uniformly distributed over $\\{0,1\\}^n$. We study both "inherent" bounds that apply to any problem and any classifier for such a problem as well as bounds that apply to specific problems and specific hypothesis classes. As the current literature contains multiple definitions of adversarial risk and robustness, we start by giving a taxonomy for these definitions based on their goals, we identify one of them as the one guaranteeing misclassification by pushing the instances to the error region. We then study some classic algorithms for learning monotone conjunctions and compare their adversarial risk and robustness under different definitions by attacking the hypotheses using instances drawn from the uniform distribution. We observe that sometimes these definitions lead to significantly different bounds. Thus, this study advocates for the use of the error-region definition, even though other definitions, in other contexts, may coincide with the error-region definition. Using the error-region definition of adversarial perturbations, we then study inherent bounds on risk and robustness of any classifier for any classification problem whose instances are uniformly distributed over $\\{0,1\\}^n$. Using the isoperimetric inequality for the Boolean hypercube, we show that for initial error $0.01$, there always exists an adversarial perturbation that changes $O(\\sqrt{n})$ bits of the instances to increase the risk to $0.5$, making classifier's decisions meaningless. Furthermore, by also using the central limit theorem we show that when $n\ o \\infty$, at most $c \\cdot \\sqrt{n}$ bits of perturbations, for a universal constant $c< 1.17$, suffice for increasing the risk to $0.5$, and the same $c \\cdot \\sqrt{n} $ bits of perturbations on average suffice to increase the risk to $1$, hence bounding the robustness by $c \\cdot \\sqrt{n}$.

연구 동기 및 목표

• 적대적 위험과 강건성 정의에 대한 모호함을 제거하기 위해 그들의 목표에 기반한 분류 체계를 제안하기 위해.
• 균일 분포 U_n 하에서 단조적 논리곱을 사용하여 다양한 적대적 정의를 평가하고 비교하기 위해.
• 입력이 {0,1}^n 위에서 균일 분포일 경우, 어떤 분류기라도 적대적 위험과 강건성의 본질적 한계를 유도하기 위해.
• 심지어 최적의 분류기라도 균일 입력 분포 하에서 본질적으로 취약하며, 강건성이 O(√n) 허밍 거리로 제한됨을 보여주기 위해.

제안 방법

• 적대적 위험과 강건성에 대해 세 가지 서로 다른 정의를 도입: 오류 영역 기반, 예측 변화 기반, 손상된 인스턴스 기반.
• 불리안 하이퍼큐브 상에서 등면적 부등식을 사용하여 위험도를 0.5로 끌어올리기 위해 필요한 최소 편향 크기를 제한한다.
• 중앙극한정리를 적용하여 n 이 크면 평균적으로 c·√n 편향( c < 1.17)이 위험도를 0.5 또는 1로 끌어올리기에 충분하다는 것을 보여준다.
• BSize 함수를 사용하여 오류 영역 크기와 오류 영역 정의 하에서의 적대적 위험 간의 관계를 설정한다.
• 레마 4.17을 활용하여 강건성과 누적 적대적 위험을 연결함으로써, 평균 편향 크기에 대한 합 기반의 한계를 가능하게 한다.
• Find-S 및 스위핑 알고리즘에 대한 실험적 평가를 수행하여 U_n 하에서 다양한 학습 알고리즘 간의 강건성 수준을 비교한다.

실험 결과

연구 질문

• RQ1 어느 적대적 위험 정의가 모든 적대적 예제에 대해 오분류를 보장하는 데 가장 신뢰할 수 있는가?
• RQ2 동일한 분류기와 문제에 대해 다양한 적대적 강건성 정의가 서로 다른 한계를 도출하는 이유는 무엇인가?
• RQ3 입력이 {0,1}^n 위에서 균일 분포일 경우, 어떤 분류기라도 적대적 강건성의 본질적 한계는 무엇인가?
• RQ4 등면적 및 확률 부등식을 사용하여 적대적 편향 크기에 대한 날카운 이론적 한계를 도출할 수 있는가?
• RQ5 표준 학습 알고리즘인 Find-S 및 스위핑 알고리즘은 균일 분포 하에서 적대적 강건성 측면에서 어떻게 비교될 수 있는가?

주요 결과

• 오류 영역 정의는 오직 오직 모든 적대적 예제에 대해 오분류를 보장하므로, 이론적 분석에 가장 신뢰할 수 있는 정의이다.
• 균일 분포 입력에서 初기 오류율이 0.01인 어떤 분류기라도 위험도를 0.5로 끌어올리는 O(√n) 허밍 거리의 적대적 편향이 존재한다.
• n → ∞ 일 때, 최대 c·√n 편향( c < 1.17)이 위험도를 0.5로 끌어올리기에 충분하며, 동일한 평균 편향 크기로 위험도를 1로 끌어올릴 수 있다.
• 오류 영역 정의 하에서 어떤 분류기의 강건성도 c·√n 로 제한되며, 이는 고차원 이진 공간에서의 본질적 취약성을 보여준다.
• Find-S 알고리즘은 동일한 조건에서 스위핑 알고리즘보다 항상 더 강건한 가설을 생성한다.
• 등면적 및 중심극한정리에 기반한 이론적 한계는 적대적 취약성이 알고리즘에 특화된 것이 아니라 데이터 분포 자체에 기인한 것임을 확인한다.