[논문 리뷰] Robustness of classifiers: from adversarial to random noise

Alhussein Fawzi, Seyed-Mohsen Moosavi-Dezfooli외 1명|arXiv (Cornell University)|2016. 08. 31.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 119

한 줄 요약

이 논문은 semi-random 노이즈 regime에서 분류기 견고성을 분석합니다. 이는 무작위 perturbation과 적대적 perturbation 사이를 보간하고, 견고성 경계의 곡률 및 데이터/서브스페이스 차원에 따라 한계를 의존함을 보이며, 심층 신경망에서의 실험적 타당성을 확인합니다.

ABSTRACT

Several recent works have shown that state-of-the-art classifiers are vulnerable to worst-case (i.e., adversarial) perturbations of the datapoints. On the other hand, it has been empirically observed that these same classifiers are relatively robust to random noise. In this paper, we propose to study a extit{semi-random} noise regime that generalizes both the random and worst-case noise regimes. We propose the first quantitative analysis of the robustness of nonlinear classifiers in this general noise regime. We establish precise theoretical bounds on the robustness of classifiers in this general regime, which depend on the curvature of the classifier's decision boundary. Our bounds confirm and quantify the empirical observations that classifiers satisfying curvature constraints are robust to random noise. Moreover, we quantify the robustness of classifiers in terms of the subspace dimension in the semi-random noise regime, and show that our bounds remarkably interpolate between the worst-case and random noise regimes. We perform experiments and show that the derived bounds provide very accurate estimates when applied to various state-of-the-art deep neural networks and datasets. This result suggests bounds on the curvature of the classifiers' decision boundaries that we support experimentally, and more generally offers important insights onto the geometry of high dimensional classification problems.

연구 동기 및 목표

• 무작위와 적대적 perturbations를 보간하는 노이즈 regime에서의 견고성을 동기화하고 형식화합니다.
• 이진 및 다중 클래스 의사 결정 경계를 분석하기 위한 곡률 기반 프레임워크를 정의합니다.
• 데이터 차원과 서브스페이스 차원 측면에서 semi-random 견고성과 적대적 견고성 사이의 경계(bound) 를 도출합니다.
• semi-random 노이즈 모델 내에서 비선형 분류기와 선형 분류기에 대한 이론적 보장을 제공합니다.
• 최신 딥 네트워크에 대한 이론적 경계를 실험적으로 검증하고 경계의 곡률을 시각화합니다.

제안 방법

• 견고성 r_S^*를 예측 레이블을 바꾸는 하위 공간 S 내의 최소 perturbation으로 정의합니다.
• 하위 공간 차원 m과 임의의 하위 공간 선택을 통해 랜덤 및 semi-random 노이즈 regime를 도입합니다.
• 선형 분류기에 대해 r_S^*가 adversarial perturbation r^*의 sqrt(d/m) 배수로 스케일된다는 경계를 도출합니다.
• 작은 곡률에서 비선형 분류기에 대해 의사 결정 경계의 쌍 간 곡률 측정치를 사용하여 동일한 경계를 확장합니다.
• 의사 결정 경계에 따라 inscribed ball을 기반으로 한 곡률 κ(B_{i,j})를 정의합니다.
• 다중 클래스 설정에 대해 semi-random 견고성 경계가 성립하도록 하는 곡률 조건의 코릴러리와 실용적 조건을 제공합니다.

실험 결과

연구 질문

• RQ1 랜덤 및 semi-random 노이즈에서의 견고성이 선형 및 비선형 분류기에 대해 적대적 견고성과 어떤 관계가 있는가?
• RQ2 쌍 간 의사 경계의 곡률이 semi-random 견고성의 경계에 어떤 역할을 하는가?
• RQ3 하위 공간 차원 m을 통해 랜덤 노이즈 견고성과 최악의 경우 견고성 사이를 보간할 수 있는가?
• RQ4 실험적 딥 네트워크가 데이터셋 전반에 걸쳐 곡률 관련 견고성 특성을 예측하는가?
• RQ5 이론적 경계를 뒷받침하기 위해 경계 곡률을 시각화하고 추정하는 방법은 무엇인가?

주요 결과

• 견고성은 선형 분류기의 경우 경계 곡률이 작을 때 무작위 노이즈에 대해 대략 sqrt(d)배의 적대적 거리(r^*)에 비례하여 스케일합니다.
• semi-random 영역에서 견고성은 sqrt(d/m)배의 적대적 거리(r^*)에 비례하여 스케일되며, 무작위와 최악의 경우 사이를 보간합니다.
• 비선형 분류기의 경우 쌍 간 경계의 한정된 곡률 κ(B_{i,j}) 하에서 견고성 경계가 성립합니다.
• 곡률 제약이 가까운 클래스 경계에 대해 r_S^*가 r^*의 sqrt(d/m)배의 상수인 범위 내에 들어간다는 코릴러리가 선형 케이스와 유사하게 존재합니다.
• 최신 네트워크(VGG-F, VGG-19, LeNet 변형 등)에서 beta(f;m) 값이 다양한 m/d 설정에서 1에 근접하는 경향을 보이며 이론을 지지합니다.
• 곡률이 경계 접합부를 제외하고는 작다는 시각화를 통해 곡률 기반 가정과 일치합니다.