[논문 리뷰] Robustness of classifiers to universal perturbations: a geometric perspective

Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi외 3명|arXiv (Cornell University)|2017. 05. 26.

Topological and Geometric Data Analysis인용 수 45

한 줄 요약

이 논문은 보편적 적대적 편향에 대한 딥 네ural 네트워크의 강건성에 대한 기하학적 분석을 제공하며, 자연 이미지 간의 결합된 양의 곡률이 작은, 이미지에 의존하지 않는 편향이 분류기를 속일 수 있도록 해준다고 보여준다. 이는 보편적 편향의 존재, 다양성, 이식 가능성에 대한 기하학적 이론 프레임워크를 제안하며, 입력 공간 내 공통된 양의 곡률 방향의 부분공간 분석을 이용한 새로운 기하학적 방법을 제시한다.

ABSTRACT

Deep networks have recently been shown to be vulnerable to universal perturbations: there exist very small image-agnostic perturbations that cause most natural images to be misclassified by such classifiers. In this paper, we propose the first quantitative analysis of the robustness of classifiers to universal perturbations, and draw a formal link between the robustness to universal perturbations, and the geometry of the decision boundary. Specifically, we establish theoretical bounds on the robustness of classifiers under two decision boundary models (flat and curved models). We show in particular that the robustness of deep networks to universal perturbations is driven by a key property of their curvature: there exists shared directions along which the decision boundary of deep networks is systematically positively curved. Under such conditions, we prove the existence of small universal perturbations. Our analysis further provides a novel geometric method for computing universal perturbations, in addition to explaining their properties.

연구 동기 및 목표

• 최신 딥 네트워크가 왜 보편적 편향, 즉 대부분의 자연 이미지를 잘못 분류하는 작은, 이미지에 의존하지 않는 편향에 매우 취약한지 이해하기 위해.
• 보편적 편향에 대한 강건성과 결정 경계의 기하학적 성질, 특히 곡률 간의 관계를 체계화하기 위해.
• 곡률 기반 모델을 사용하여 보편적 편향의 존재, 다양성, 이식 가능성에 대한 이론적 프레임워크를 개발하기 위해.
• 입력 공간 내 공통된 양의 곡률 방향에 기반한 새로운 기하학적 방법을 제안하여 보편적 편향을 계산하기 위해.

제안 방법

• 논문은 두 가지 결정 경계 모델을 도입한다: 법선 벡터 상관관계에 기반한 국소적으로 평탄한 모델과 제2차 곡률 정보를 포함하는 국소적으로 굴곡진 모델.
• 두 모델 하에서 강건성에 대한 이론적 경계를 유도하며, 특정 방향에 따라 공통된 양의 곡률이 존재할 경우 작은 보편적 편향이 존재함을 보여준다.
• 이 방법은 양의 곡률 방향으로 생성된 부분공간 $\mathcal{S}_c$ 를 식별하며, 이 부분공간에서 샘플링된 랜덤 벡터는 매우 효과적인 보편적 편향을 생성한다.
• 다른 네트워크의 부분공간 간의 주각을 사용하여 다양한 모델 간 편향의 이식 가능성에 대한 설명을 제공한다.
• 경험적으로 이 접근법을 검증하여, $\mathcal{S}_c$ 내에서 랜덤 편향을 적용했을 때 CIFAR-10에서 최소한의 학습 데이터로 거의 85%의 오용률을 기록함을 보였다.
• 이 방법은 분류기 출력의 헤시안의 기하학적 분석에 기반하며, 곡률과 강건성 간의 연결 고리를 제공한다.

실험 결과

연구 질문

• RQ1 딥 네트워크 결정 경계의 어떤 기하학적 성질이 보편적 편향에 대한 높은 취약성의 원인인가?
• RQ2 결정 경계의 곡률이 작은, 보편적이고 이식 가능한 편향의 존재를 어떻게 설명하는가?
• RQ3 곡률 기반 기하학적 프레임워크가 보편적 편향을 계산하는 데 새로운 방법을 제공할 수 있는가?
• RQ4 왜 보편적 편향은 다양한 형태를 띠며 서로 다른 모델 간에 이식 가능한가?
• RQ5 공통된 곡률 방향이 딥 네트워크의 강건성 실패를 어느 정도 설명하는가?

주요 결과

• 결정 경계가 특정 방향에 따라 공통된 양의 곡률을 가지는 부분공간 $\mathcal{S}_c$ 가 존재하는 것은 작은 보편적 편향가 존재하기 위해 필수적이고도 충분한 조건이다.
• 100장의 학습 이미지만으로 $\mathcal{S}_c$ 에서 샘플링된 랜덤 편향이 CIFAR-10에서 거의 85%의 오용률을 기록하며, 이는 기존 최신 기법(2,000장 필요)과 유사한 성능을 보인다.
• 보편적 편향의 다양성은 $\mathcal{S}_c$ 에서 샘플링된 랜덤 벡터 간의 내적 값이 (<0.1) 매우 낮아 거의 수직임을 의미함으로써 설명된다.
• 다른 네트워크(LeNet 및 NiN)의 $\mathcal{S}_c$ 부분공간 간의 주각이 매우 작아, 다양한 모델 간 편향의 이식 가능성에 대한 설명이 가능하다.
• 곡률 기반 모델은 딥 네트워크가 보편적 편향에 취약한 이유를 설명하며, 이는 선형성 또는 평탄성에 기반한 이전 가설과 정면으로 배치된다.
• 이론적 프레임워크는 반복 최적화가 필요 없이 효과적이고 해석 가능한 새로운 기하학적 방법을 제공하며, 보편적 편향을 계산하는 데 유용하다.