[논문 리뷰] Analyzing the Robustness of Nearest Neighbors to Adversarial Examples

Yizhen Wang, Somesh Jha외 1명|arXiv (Cornell University)|2017. 06. 13.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 63

한 줄 요약

본 논문은 적대적 예제에 대한 강건성을 위한 바이어스-분산 스타일 프레임워크를 개발하고 k-최근접 이웃(k-NN)을 분석하여 모드에 의존적인 강건성을 밝히고, 이론적 보장과 실험적 검증을 갖춘 강건한 1-NN 변형을 제안한다.

ABSTRACT

Motivated by safety-critical applications, test-time attacks on classifiers via adversarial examples has recently received a great deal of attention. However, there is a general lack of understanding on why adversarial examples arise; whether they originate due to inherent properties of data or due to lack of training samples remains ill-understood. In this work, we introduce a theoretical framework analogous to bias-variance theory for understanding these effects. We use our framework to analyze the robustness of a canonical non-parametric classifier - the k-nearest neighbors. Our analysis shows that its robustness properties depend critically on the value of k - the classifier may be inherently non-robust for small k, but its robustness approaches that of the Bayes Optimal classifier for fast-growing k. We propose a novel modified 1-nearest neighbor classifier, and guarantee its robustness in the large sample limit. Our experiments suggest that this classifier may have good robustness properties even for reasonable data set sizes.

연구 동기 및 목표

• 적대적 perturbations 하에서 학습을 위한 바이어스-분산 스타일 프레임워크(분포적, 유한표본, 알고리즘적 강건성)를 도입한다.
• 다양한 k 구간에서 k-최근접 이웃의 강건성을 이론적으로 분석한다.
• 증명 가능한 강건성 속성을 갖는 수정된 학습 집합에서 작동하는 강건한 1-NN 변형을 제안하고 분석한다.
• 여러 데이터셋과 공격에 대한 실험으로 이론적 결과를 검증한다.

제안 방법

• 강건성 개념 정의: 강건 반경(robustness radius), 분포에 대한 강건성, 그리고 astuteness를 정의한다.
• 상수 k와 Omega(sqrt(d n log n))로 증가하는 k 두 구간에서 k-NN의 강건성을 특징짓는다.
• 상수-k NN은 eta(x)가 (0,1)일 때 분포적 강건성이 0임을 증명하지만 eta가 {0,1}인 영역에서는 강건하다고 보인다.
• 충분히 큰 k(Omega(sqrt(d n log n)))는 대표본에서 Bayes 최적에 접근하는 강건성을 보인다.
• 서로 다른 라벨의 점 분리를 강제하기 위해 학습 점들을 가지치고(제외) 분류를 위한 강건한 하위집합을 보존하는 강건한 1-NN 변형을 도입한다.
• 대표본 극한에서 강건한 1-NN 알고리즘의 성능 보장을 제공하고 그 강건성 영역을 분석한다.

실험 결과

연구 질문

• RQ1 데이터 분포에 따라 k-NN의 강건성이 k의 선택에 어떻게 의존하는가?
• RQ2 대표본에서 k-NN이 Bayes 최적에 비견될 만한 강건성을 달성할 수 있는 조건은 무엇인가?
• RQ3 증명 가능한 강건성 보장을 갖는 실용적인 강건한 1-NN 변형을 구축할 수 있는가?
• RQ4 분포적 측면과 유한표본 측면이 최근접 이웃 방법의 적대적 교란에 대한 강건성에 어떻게 영향을 미치는가?

주요 결과

• 고정된 k에 대해 eta(x)가 (0,1) 사이일 때 k-NN은 분포적 강건성이 0이다.
• k가 Omega(sqrt(d n log n))로 증가하면 대표본 극한에서 k-NN의 강건성 영역이 Bayes 최적 분류기와 근접해진다.
• 적어도 충분히 작은 수의 점을 제거하여 r-분리된 학습 집합을 만들고 자신 있게 라벨링된 예제를 유지하는 강건한 1-NN 변형이 제안되어 특정 조건에서 보장된 강건성을 얻는다.
• 강건한 1-NN 알고리즘은 고밀도 영역과 eta(x)가 1/2에서 멀리 떨어진 경우에 우수한 강건성 보장을 달성한다.
• Halfmoon, MNIST 1v7, Abalone에 대한 실험 결과는 RobustNN이 표준 NN 및 적대적 학습 NN 비교기준을 여러 흰박스/블랙박스 공격에서 능가함을 보이며, 성능은 데이터 밀도와 차원에 따라 달라진다.