[논문 리뷰] Evaluating the Robustness of Nearest Neighbor Classifiers: A Primal-Dual Perspective

Lu Wang, Xuanqing Liu외 3명|arXiv (Cornell University)|2019. 06. 10.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 13

한 줄 요약

이 논문은 k-Nearest Neighbor (k-NN) 분류기의 최소 적대적 편향을 계산하기 위한 최초의 정확한 알고리즘을 제안한다. 문제를 볼록 2차 프rog램(Quadratic Programs, QPs)으로 공식화함으로써, 원본-이중 해를 통한 증명 가능 최적 공격 및 강건성 검증이 가능해진다. 이 방법은 1-NN에 대해 다항식 시간 계산을 가능하게 하며, 더 큰 K에 대해서는 효율적인 상한과 하한을 제공하여 이전의 히우리스틱 또는 근사 기반 접근법보다 공격 효과성과 검증의 엄밀함에서 뛰어나다.

ABSTRACT

We study the problem of computing the minimum adversarial perturbation of the Nearest Neighbor (NN) classifiers. Previous attempts either conduct attacks on continuous approximations of NN models or search for the perturbation by some heuristic methods. In this paper, we propose the first algorithm that is able to compute the minimum adversarial perturbation. The main idea is to formulate the problem as a list of convex quadratic programming (QP) problems that can be efficiently solved by the proposed algorithms for 1-NN models. Furthermore, we show that dual solutions for these QP problems could give us a valid lower bound of the adversarial perturbation that can be used for formal robustness verification, giving us a nice view of attack/verification for NN models. For $K$-NN models with larger $K$, we show that the same formulation can help us efficiently compute the upper and lower bounds of the minimum adversarial perturbation, which can be used for attack and verification.

연구 동기 및 목표

• k-NN 분류기가 비가역적이고 비볼록적이므로, 최소 적대적 편향을 계산하기 위한 정확한 방법의 부족을 해결한다.
• 1-NN 모델에 대해 정확한 최소 편향을 계산하는 증명 가능 최적의 공격 알고리즘을 개발한다.
• QP 공식화의 이중 해를 사용하여 k-NN 분류기의 최초의 공식적 강건성 검증 방법을 제공한다.
• 더 큰 K에 대해 K-NN에 프레임워크를 확장하여 공격 및 검증을 위한 효율적인 상한과 하한을 제공한다.
• 1-NN가 MNIST 및 Fashion-MNIST와 같은 단순한 데이터셋에서 딥 뉴럴 네트워크보다 더 높은 검증 가능한 강건성을 달성할 수 있음을 보여준다.

제안 방법

• 1-NN에 대한 최소 적대적 편향 문제를 다항식 시간 내에 해결 가능한 볼록 2차 프로그램(QPs)의 집합으로 공식화한다.
• 문제의 구조적 희소성에 기반해, 효율적인 그리디 좌표 상승법을 사용하여 각 QP를 해결한다.
• QP의 이중 해를 유도하여 최소 편향의 타당한 하한을 도출함으로써, 공식적 강건성 검증이 가능하게 한다.
• 각 테스트 인스턴스당 해결해야 할 QP의 수를 줄이기 위해 스크리닝 규칙을 도입하여 계산 효율성을 크게 향상시킨다.
• K > 1인 K-NN에 대해, 공격를 위한 근사된 원본 해를 도출하고, K에 관계없이 강건한 검증 하한을 확보하기 위해 이중 탍가 해를 구성한다.
• 원본-이중 프레임워크를 활용하여 k-NN 모델에 대해 동시에 최적의 공격(원본)과 공식적 검증(이중)을 달성한다.

실험 결과

연구 질문

• RQ1 1-NN 분류기의 최소 적대적 편향을 근사가 아닌 정확하게 계산할 수 있는가?
• RQ2 원본-이중 QP 공식화는 k-NN 모델에 대해 최적의 공격과 공식적 강건성 검증을 동시에 제공할 수 있는가?
• RQ3 K > 1일 때 K-NN의 강건성 평가 계산 복잡도는 어떻게 관리할 수 있는가?
• RQ4 동일한 편향 제약 조건 하에서 1-NN 모델의 강건성이 딥 뉴럴 네트워크보다 증명 가능하게 뛰어난가?
• RQ5 QP 문제의 이중 해는 K-NN 모델에 대해 적대적 편향의 엄밀하고 효율적인 하한을 제공할 수 있는가?

주요 결과

• 제안된 알고리즘은 1-NN 모델에 대해 정확한 최소 적대적 편향을 계산하며, 이전의 공격 방법보다 훨씬 작은 편향을 달성한다.
• 1-NN에 대해 이 알고리즘은 증명 가능 최적이며, SCS, CVXOPT, ECOS와 같은 표준 QP 솔버보다 최대 60배 빠르다.
• 이 알고리즘은 k-NN에 대해 정식 강건성 검증을 제공하는 최초의 방법으로, 이중 해를 통해 적대적 편향의 엄밀한 하한을 도출한다.
• MNIST 및 Fashion-MNIST에서 1-NN는 더 높은 클린 오차에도 불구하고, CNN보다 더 낮은 검증 가능한 강건 오차(27.06% 및 78.25%)를 기록한다.
• K > 1인 K-NN에 대해, 검증기는 K에 독립적인 시간 복잡도로 하한을 계산하며, QP-그리디로부터 도출된 상한은 난이도 기반 기준보다 더 엄밀하다.
• 스크리닝 규칙은 인스턴스당 평균 QP 수를 약 54,000에서 2.53으로 감소시켜 뚜렷한 효율성 향상을 보였다.