[논문 리뷰] Robustness of classifiers to uniform $\ell\_p$ and Gaussian noise

Jean-Yves Franceschi, Alhussein Fawzi외 1명|arXiv (Cornell University)|2018. 02. 22.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 9

한 줄 요약

이 논문은 결정 경계로부터의 거리와의 연결을 통해 균일한 ℓp 및 가우시안 노이즈에 대한 분류기의 강건성에 대한 이론적 한계를 설정한다. 무작위 가중치를 가진 선형 분류기의 경우, 강건성은 이 거리에 √d 배율이 된다; 이 이론은 국소적으로 평탄한 결정 경계를 가지는 딥 네URAL 네트워크로 확장되며, 최신 모델에 대해 실험적으로 검증된다.

ABSTRACT

We study the robustness of classifiers to various kinds of random noise models. In particular, we consider noise drawn uniformly from the $\ell\_p$ ball for $p \in [1, \infty]$ and Gaussian noise with an arbitrary covariance matrix. We characterize this robustness to random noise in terms of the distance to the decision boundary of the classifier. This analysis applies to linear classifiers as well as classifiers with locally approximately flat decision boundaries, a condition which is satisfied by state-of-the-art deep neural networks. The predicted robustness is verified experimentally.

연구 동기 및 목표

• 무작위 노이즈, 특히 임의의 공분산을 가진 균일한 ℓp 및 가우시안 노이즈에 대한 분류기의 강건성을 정량화하는 것.
• 선형 및 비선형 분류기의 경우, 결정 경계까지의 거리 기반으로 강건성을 특성화하는 것.
• 이진 분류 설정에서의 이론적 결과를 다중 클래스 분류 설정으로 확장하는 것.
• 딥 네URAL 네트워크에 대해 이론적 한계를 실험적으로 검증하는 것.
• 제안된 프레임워크를 사용하여 이미지 양자화에 대한 딥 네트워크의 높은 강건성을 설명하는 것.

제안 방법

• 강건성을, 변형된 입력이 확률 ≥ ε로 예측 레이블을 변경하는 데 필요한 최소 노이즈 스케일 α로 정의한다.
• p ∈ [1, ∞]인 ℓp 구에 균일한 노이즈를 적용하여 희박한(예: p=1)에서 조밀한(예: p=∞) 노이즈 영역을 모델링한다.
• 임의의 공분산 행렬 Σ를 사용하여 상관된 가우시안 노이즈를 모델링한다.
• 집중 부등식과 ℓp 및 ℓp′ 노름 간의 이중성 관계를 이용해 강건성의 상한 및 하한을 유도한다.
• 유니온 바운드와 노름 비교를 적용하여 이론 결과를 이진 분류에서 다중 클래스 분류로 일반화한다.
• 딥 네트워크의 국소적으로 약간 평탄한 결정 경계 성질을 활용하여 선형 결과를 비선형 모델로 확장한다.

실험 결과

연구 질문

• RQ1 선형 분류기에서 균일한 ℓp 노이즈에 대한 강건성은 결정 경계까지의 거리와 어떻게 스케일링되는가?
• RQ2 ℓp 노이즈에서 p의 선택이 분류기의 강건성에 미치는 영향은 무엇인가?
• RQ3 상관된 가우시안 노이즈에 대한 강건성은 분류기의 가중치 구조와 입력 차원에 따라 어떻게 달라지는가?
• RQ4 무작위 노이즈 하에서 딥 네트워크의 강건성은 결정 경계까지의 거리로 예측할 수 있는가?
• RQ5 딥 네트워크는 이미지 양자화에 대해 왜 강건한가? 이는 제안된 노이즈 모델로 설명될 수 있는가?

주요 결과

• 무작위 선형 분류기의 경우, 균일한 ℓp 노이즈에 대한 강건성은 상수를 제외하고 결정 경계까지의 거리에 √d 배율이 된다.
• 임의의 공분산을 가진 가우시안 노이즈에 대해서도 유사한 조건 하에 강건성은 √d와 결정 경계까지의 거리에 비례한다.
• 실험적으로 확인된 lin, 최신 딥 네트워크의 강건성은 이론적 한계에 의해 정확히 예측된다.
• 이 모델은 이미지 양자화에 대한 딥 네트워크의 높은 강건성을 설명하며, 경험적 관찰과 일치한다.
• 이론적 한계는 다중 클래스 설정에서도 강건하며, L개 클래스에 대해 오차 임계값 ε는 유니온 바운드를 통해 ε/(L−1)로 조정된다.
• 이 분석은 이전의 ℓ2 강건성 연구를 더 넓은 노이즈 영역, 즉 희박한 노이즈와 상관된 노이즈로 일반화한다.