[논문 리뷰] Are Adversarial Examples Inevitable?

Ali Shafahi, Wenhui Huang외 3명|arXiv (Cornell University)|2018. 09. 06.

Adversarial Robustness in Machine Learning참고 문헌 47인용 수 85

한 줄 요약

이 논문은 고차원 기하학을 활용하여 분류기의 내구성에 대한 이론적 한계를 도출함으로써, 적대적 예외가 기계 학습 분류기에서 본질적으로 피할 수 없는지 여부를 조사한다. 복잡한 고차원 데이터 분포에서 클래스 다양체가 집중되어 있을 경우, 차원 수만이 아니라 데이터의 본질적 복잡성 때문에 적대적 예외는 피할 수 없다고 보여주며, 내구성의 한계는 데이터 분포 특성과 변형 노름에 밀접하게 연결되어 있다.

ABSTRACT

A wide range of defenses have been proposed to harden neural networks against adversarial attacks. However, a pattern has emerged in which the majority of adversarial defenses are quickly broken by new attacks. Given the lack of success at generating robust defenses, we are led to ask a fundamental question: Are adversarial attacks inevitable? This paper analyzes adversarial examples from a theoretical perspective, and identifies fundamental bounds on the susceptibility of a classifier to adversarial attacks. We show that, for certain classes of problems, adversarial examples are inescapable. Using experiments, we explore the implications of theoretical guarantees for real-world problems and discuss how factors such as dimensionality and image complexity limit a classifier's robustness against adversarial examples.

연구 동기 및 목표

• . 이 논문은 기계 학습 분류기에서 적대적 예외가 본질적으로 피할 수 없는지 조사한다.
• . 내구성에 영향을 주는 내재된 기하학적 및 분포적 요인을 규명하고자 한다.
• . 방어 기법에 의해 향상될 수 있는 것이 아니라, 데이터 분포와 노름 선택에 의해 본질적으로 제한되는 내구성의 가능성을 규명하고자 한다.
• . 적대적 공격에 대한 민감도를 결정하는 데 있어 데이터 복잡성과 차원 수의 역할을 탐구한다.
• . 특정 방어 아키텍처에 종속되지 않는 이론적 내구성 한계를 설정하는 것이 목적이다.

제안 방법

• . 저자들은 고차원 기하학의 등면적 부등식을 활용하여 분류기 내구성에 대한 이론적 한계를 도출한다.
• . 이미지 클래스가 입력 공간에서 얼마나 격렬하게 뭉쳐져 있는지를 측정하는 농도 측도 Uc를 정의하며, 높은 Uc는 더 큰 집중도를 의미한다.
• . 변형을 모델링하기 위해 단위 구면 위의 정규화된 표면 측도 µ1과 ℓp-노름(ℓ∞, ℓ2, ℓ0 포함)을 사용하여 이론적 한계를 유도한다.
• . 분석은 ℓ2-노름과 ℓ0-노름(희소 변형)을 모두 고려하며, 노름 선택이 적대적 예외 존재 여부에 상당한 영향을 미친다는 것을 보여준다.
• . 이론적 결과는 MNIST와 CIFAR-10에 대한 실험을 통해 검증되며, 다양한 이미지 해상도에서 자연적으로 훈련된 모델과 적대적으로 훈련된 모델을 비교한다.
• . 적대적 예외를 생성하기 위해 투영된 경사 하강법(PGD)을 사용하고, 다양한 변형 임계값 ϵ에서 내구성을 평가한다.

실험 결과

연구 질문

• RQ1 . 어떤 데이터 분포에 대해서는 방어 전략이 무엇이든 간에 적대적 예외가 본질적으로 피할 수 없는가?
• RQ2 . 데이터 복잡성(농도 측도 Uc로 측정)이 적대적 내구성의 본질적 한계에 어느 정도 기여하는가?
• RQ3 . 차원 수 증가가 본질적으로 적대적 민감도를 증가시키는가, 아니면 데이터 분포가 더 중요한가?
• RQ4 . 서로 다른 ℓp-노름(ℓ∞, ℓ2, ℓ0)이 적대적 예외의 존재성과 강도에 어떤 영향을 미치는가?
• RQ5 . 고차원 기하학에서 도출된 이론적 한계가 실제 분류기의 내구성을 예측할 수 있는가?

주요 결과

• . 단위 초입방체의 1/2 exp(−πϵ²) 이상을 차지하는 이미지 클래스에 대해서는 ℓ2-노름 ≤ ϵ인 적대적 예외가 보장된다.
• . 이론적 분석은 특정 데이터 분포에서, 특히 클래스 다양체가 매우 집중되어 있을 경우(높은 Uc), 적대적 예외가 피할 수 없다는 것을 보여준다.
• . 농도 한계 Uc는 내구성의 핵심 결정 요소이다: 높은 Uc(더 높은 집중도)는 낮은 민감도를, 낮은 Uc(더 복잡하고 산산이 흩어진 클래스)는 높은 취약도를 초래한다.
• . 실험 결과는 CIFAR-10이 큰 MNIST와 유사한 차원 수를 가짐에도 불구하고 낮은 Uc와 더 높은 데이터 복잡성으로 인해 훨씬 더 큰 민감도를 보임을 확인한다.
• . 적대적 훈련은 기본 한계를 제거하지 못하며, 오히려 이론적으로 예측된 이론적 내구성 한계에 가까이 가도록 분류기를 이동시킨다.
• . 이미지 해상도 증가(예: 112×112 vs. 28×28 MNIST)가 본질적으로 적대적 민감도를 증가시키지 않으며, 내구성 곡선은 차원 수에 비례하여 스케일링됨을 보여준다.