[논문 리뷰] Classification regions of deep neural networks

Alhussein Fawzi, Seyed-Mohsen Moosavi-Dezfooli외 2명|arXiv (Cornell University)|2017. 05. 26.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 31

한 줄 요약

이 논문은 입력 공간에서 딥 네ural 네트워크의 결정 경계 기하적 성질을 분석하여, 분류 영역이 연결되어 있고 결정 경계는 대부분 평탄하며, 소수의 매우 곡률이 큰 방향이 존재함을 밝혀냈다. 또한 분류기가 이러한 곡률이 큰 방향에서 편향되어 있는 기본적인 비대칭성을 규명하였으며, 이 비대칭성을 활용해 재학습 없이도 작은 적대적 페르투베이션을 정확히 식별하고 심지어 원본 레이블을 복구할 수 있는 기하학적 탐지 방법을 제안한다.

ABSTRACT

The goal of this paper is to analyze the geometric properties of deep neural network classifiers in the input space. We specifically study the topology of classification regions created by deep networks, as well as their associated decision boundary. Through a systematic empirical investigation, we show that state-of-the-art deep nets learn connected classification regions, and that the decision boundary in the vicinity of datapoints is flat along most directions. We further draw an essential connection between two seemingly unrelated properties of deep networks: their sensitivity to additive perturbations in the inputs, and the curvature of their decision boundary. The directions where the decision boundary is curved in fact remarkably characterize the directions to which the classifier is the most vulnerable. We finally leverage a fundamental asymmetry in the curvature of the decision boundary of deep nets, and propose a method to discriminate between original images, and images perturbed with small adversarial examples. We show the effectiveness of this purely geometric approach for detecting small adversarial perturbations in images, and for recovering the labels of perturbed images.

연구 동기 및 목표

• 딥 네럴 네트워크의 분류 영역과 결정 경계의 기하학적 구조를 이해하기 위해, 모델 행동에서 핵심적인 역할을 하면서도 아직 잘 이해되지 않은 이들의 기하학적 성질을 탐구한다.
• 자연 이미지 근처에서 결정 경계의 곡률을 분석하고, 이로 인해 모델의 강건성과 적대적 취약성에 미치는 영향을 연구한다.
• 결정 경계의 기하학적 성질이 재학습 없이도 작은 적대적 페르투베이션으로부터 탐지하고 복구하는 데 활용될 수 있는지 탐색한다.
• 입력에 대한 페르투베이션 민감도와 입력 공간에서의 결정 경계 곡률 간의 관계를 수립한다.
• 곡률 비대칭성을 기반으로 한 순수 기하학적이고 학습이 불필요한 방법을 개발하여 적대적 예측을 탐지하고 수정한다.

제안 방법

• 입력 공간에서 동일한 레이블을 가진 데이터 포인트 사이를 연결하는 연속적인 경로를 통해 분류 영역의 위상적 연결성을 실험적으로 분석한다.
• 입력 포인트에서 다양한 방향의 곡률을 추정하기 위해 $ F(\boldsymbol{z}) = f_i(\boldsymbol{z}) - f_j(\boldsymbol{z}) $ 의 헤시안을 계산한다.
• 헤시안에 주성분 분석을 적용하여 곡률의 주요 방향을 식별하고, 자연 이미지 전반에 걸쳐 그 분포를 정량화한다.
• 결정 경계의 양의 곡률 크기를 측정하여 적대적 예측을 탐지한다: 높은 양의 곡률은 페르투베이션된 입력을 의미한다.
• 곡률 비대칭성 기반 임계값 기반 탐지 알고리즘(알고리즘 2)을 적용하여 입력을 원본 또는 페르투베이션된 것으로 분류하고, 가장 양의 곡률이 큰 클래스에 해당하는 레이블을 통해 레이블 복구를 수행한다.
• 모든 쌍별 결정 경계에 대해 곡률 통계를 평균화하여 다중 클래스 설정으로 방법을 확장한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크가 학습한 분류 영역은 입력 공간에서 위상적으로 연결되어 있는가?
• RQ2 자연 이미지 주변에서 결정 경계의 곡률은 다양한 방향에서 어떻게 변화하는가? 그리고 서로 다른 데이터 포인트 간에 공통된 곡률이 큰 방향이 존재하는가?
• RQ3 결정 경계의 곡률에 기본적인 비대칭성이 존재하는가? 이 비대칭성은 적대적 취약성과 관련이 있는가?
• RQ4 재학습 없이도 결정 경계의 기하학적 비대칭성을 활용해 작은 적대적 페르투베이션을 탐지할 수 있는가?
• RQ5 페르투베이션된 이미지의 원본 레이블을 결정 경계의 기하학적 성질만을 사용해 복구할 수 있는가?

주요 결과

• 실험적 증거는 최신 딥 네트워크의 분류 영역이 연결되어 있음을 보여주며, 동일한 클래스에 属하는 임의의 두 점 사이에 연속적인 경로가 존재함을 시사한다.
• 자연 이미지 근처의 결정 경계는 대부분의 방향에서 평탄하며, 뚜렷한 곡률을 보이는 방향은 소수에 불과하다.
• 결정 경계의 곡률에 기본적인 비대칭성이 존재한다: 음의 곡률이 지배적이며, 가장 곡률이 큰 방향은 서로 다른 데이터 포인트 간에 공통적으로 나타난다.
• 입력 페르투베이션에 대한 민감도는 곡률과 강하게 상관되어 있다: 분류기는 몇몇 곡률이 큰 방향에서 가장 취약하고, 평탄한 방향에서는 강건하다.
• 제안된 곡률 기반 탐지 방법은 최적의 임계값 설정을 통해 GoogLeNet에서 적대적 예측 탐지 정확도가 95% 이상을 달성한다.
• 이 방법은 페르투베이션된 이미지에 적용했을 때 GoogLeNet에서는 원본 레이블을 92%의 정확도로 복구하고, CaffeNet에서는 88%, VGG-19에서는 74%의 정확도로 복구한다.