[논문 리뷰] Analysis of universal adversarial perturbations

Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi외 3명|arXiv (Cornell University)|2017. 05. 26.

Adversarial Robustness in Machine Learning인용 수 91

한 줄 요약

이 논문은 딥 네트워크의 유니버설 적대적 편향에 대한 강건성에 대한 최초의 정량적 분석을 제공하며, 이들의 취약성과 결정 경계의 양의 곡률 사이의 연관성을 규명한다. 공유된 양의 곡률 방향이 작은 유니버설 편향의 존재를 가능하게 한다는 것을 증명하고, 이러한 편향을 계산하기 위한 기하학적 방법을 제안한다.

ABSTRACT

Deep networks have recently been shown to be vulnerable to universal perturbations: there exist very small image-agnostic perturbations that cause most natural images to be misclassified by such classifiers. In this paper, we propose the first quantitative analysis of the robustness of classifiers to universal perturbations, and draw a formal link between the robustness to universal perturbations, and the geometry of the decision boundary. Specifically, we establish theoretical bounds on the robustness of classifiers under two decision boundary models (flat and curved models). We show in particular that the robustness of deep networks to universal perturbations is driven by a key property of their curvature: there exists shared directions along which the decision boundary of deep networks is systematically positively curved. Under such conditions, we prove the existence of small universal perturbations. Our analysis further provides a novel geometric method for computing universal perturbations, in addition to explaining their properties.

연구 동기 및 목표

• 딥 분류기의 유니버설 적대적 편향에 대한 강건성에 대한 공식적 분석.
• 유니버설 편향 취약성과 결정 경계 기하적 성질 사이의 이론적 연결 수립.
• 결정 경계를 평평하거나 곡률이 있는 것으로 모델링하고, 각 모델 하에서 강건성의 하한을 유도.
• 곡률이 유니버설 편향 존재의 핵심 원인임을 규명.
• 결정 경계 곡률을 기반으로 한 새로운 기하학적 방법을 통해 유니버설 편향을 계산하는 데 목표

제안 방법

• 결정 경계 모델 두 가지(평평하고 곡률이 있는)에 기반한 강건성에 대한 이론적 분석.
• 결정 경계 곡률 성질에 기반한 강건성의 하한을 공식적으로 유도.
• 결정 경계가 체계적으로 양의 곡률을 보이는 공유된 방향 식별.
• 곡률 정보를 활용하여 유니버설 편향을 계산하는 기하학적 알고리즘 개발.
• 곡률 기반 불변성으로 인해 다양한 자연 이미지 간의 편향 일반화를 설명.
• 공유된 방향에서의 양의 곡률이 작은 유니버설 편향의 존재를 암시한다는 수학적 증명.

실험 결과

연구 질문

• RQ1 결정 경계의 어떤 기하적 성질이 딥 네트워크의 유니버설 편향에 대한 취약성을 초래하는가?
• RQ2 결정 경계의 곡률이 유니버설 편향의 존재와 크기에 어떤 영향을 미치는가?
• RQ3 결정 경계 기하학적 성질에 기반해 분류기의 유니버설 편향에 대한 강건성을 공식적으로 하한화할 수 있는가?
• RQ4 공유된 양의 곡률 방향이 유니버설 편향의 존재를 가능하게 하는 역할는 무엇인가?
• RQ5 곡률에 기반한 기하학적 방법을 통해 유니버설 편향을 계산할 수 있는가?

주요 결과

• 딥 네트워크는 결정 경계의 공유된 방향을 따라 체계적인 양의 곡률을 보이며, 이는 작은 유니버설 편향의 존재를 가능하게 한다.
• 이론적 하한은 양의 곡률을 가진 결정 경계를 가진 분류기가 본질적으로 유니버설 편향에 취약하다는 것을 보여준다.
• 제안된 기하학적 방법은 결정 경계의 곡률 정보를 활용하여 성공적으로 유니버설 편향을 계산한다.
• 분석은 유니버설 편향이 이미지에 의존하지 않음에도 불구하고 다양한 자연 이미지 간에 일반화되는 이유를 설명한다.
• 양의 곡률는 유니버설 적대적 예제 형성의 핵심 구조적 성질로 규명된다.
• 이 연구는 유니버설 편향 취약성 이해 및 예측을 위한 공식적이고 기하학적인 기반을 구축한다.