[논문 리뷰] Defending Against Adversarial Examples with K-Nearest Neighbor

Chawin Sitawarin, David Wagner|arXiv (Cornell University)|2019. 06. 23.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 17

한 줄 요약

이 논문은 l2-편향 공격에 대한 저항성을 향상시키기 위해 중간 신경망 활성화 값을 활용한 k-최근접 이웃(kNN) 기반 방어 기법을 제안한다. MNIST 및 CIFAR-10에서 최신 기준 성능을 달성하며, 각각 모델을 속이는 데 평균 3.07 및 2.30의 편향 노름을 요구한다. 또한 리프시츠-정규화된 표현에 대한 1-NN를 활용해 공격 편향 크기의 증명 가능 하한을 제시한다.

ABSTRACT

Robustness is an increasingly important property of machine learning models as they become more and more prevalent. We propose a defense against adversarial examples based on a k-nearest neighbor (kNN) on the intermediate activation of neural networks. Our scheme surpasses state-of-the-art defenses on MNIST and CIFAR-10 against l2-perturbation by a significant margin. With our models, the mean perturbation norm required to fool our MNIST model is 3.07 and 2.30 on CIFAR-10. Additionally, we propose a simple certifiable lower bound on the l2-norm of the adversarial perturbation using a more specific version of our scheme, a 1-NN on representations learned by a Lipschitz network. Our model provides a nontrivial average lower bound of the perturbation norm, comparable to other schemes on MNIST with similar clean accuracy.

연구 동기 및 목표

• 이미지 분류에서 l2-편향 공격에 대한 모델 저항성을 향상시키는 것.
• 일반화 성능 향상을 위해 중간 신경망 표현을 활용하는 방어 기법을 개발하는 것.
• 리프시츠-정규화된 특징에 대한 1-NN를 활용해 l2-노름에 대한 공격 편향 크기의 증명 가능 하한을 제공하는 것.
• 기존 방어 기법을 능가하는 저항성 확보와 함께 표준 벤치마크에서 높은 정확도를 유지하는 것.

제안 방법

• 방어 기법은 신경망의 중간 레이어 활성화 값을 기반으로 k-NN 분류를 수행하여 악성 입력을 탐지하고 완화한다.
• 리프시츠-정규화된 네트워크의 표현에서 1-NN 변형을 적용하여 공격 편향의 l2-노름에 대한 증명 가능 하한을 유도한다.
• 입력이 공격적임을 판단하기 위해 활성화 공간 내의 거리를 사용하며, k=1 또는 k>1의 변형에 따라 달라진다.
• 기본 분류기의 재학습 없이도 종단 간(end-to-end)으로 학습이 가능하여 즉시 적용 가능한 저항성 확보가 가능하다.
• 리프시츠 제약 조건은 소규모 입력 편향이 출력 변화에 제한된 범위 내에서만 영향을 미치도록 보장하여 공식적인 저항성 보장을 가능하게 한다.
• 방어 기법은 MNIST 및 CIFAR-10에서 l2-편향 공격에 대해 평가되며, 속이는 데 필요한 편향 노름과 증명 가능 하한을 측정한다.

실험 결과

연구 질문

• RQ1 중간 신경망 활성화에 대한 k-NN가 표준 비전 벤치마크에서 l2-편향 공격에 효과적으로 방어할 수 있는가?
• RQ2 리프시츠-정규화된 표현에 기반한 k-NN로 방어된 모델을 속이기 위해 필요한 최소 l2-노름의 공격 편향은 얼마인가?
• RQ3 리프시츠-정규화된 특징에 대한 1-NN가 공격 저항성에 대한 증명 가능 하한을 제공할 수 있는가?
• RQ4 제안된 방어 기법은 MNIST 및 CIFAR-10에서 최신 기준 방어 기법과 비교해 저항성과 정확도 측면에서 어떻게 성과를 내는가?
• RQ5 표준 적대적 훈련과 비교해 중간 표현을 활용할 경우 일반화 및 저항성 향상에 기여하는가?

주요 결과

• kNN 기반 방어 기법은 MNIST 모델을 속이기 위해 평균 3.07의 편향 노름이 필요하며, 이는 이전 최신 기준 방어 기법보다 뚜렷이 뛰어나다.
• CIFAR-10에서는 모델을 속이기 위해 평균 2.30의 편향 노름이 필요하며, 이는 l2 공격에 대한 강력한 저항성을 보여준다.
• 이 방법은 공격 편향의 l2-노름에 대해 비현실적이지 않은 증명 가능 하한을 제공하며, 유사한 정확도를 가진 MNIST 기반 다른 기법들과 유사한 성능을 보인다.
• 리프시츠-정규화된 특징에 대한 1-NN 변형은 거리 기반 증명을 통해 공식적인 저항성 보장을 가능하게 한다.
• 높은 정확도를 유지하면서도 저항성을 크게 향상시켜, 공격 입력에 대한 효과적인 일반화를 보여준다.
• 결과적으로 중간 표현이 저항성 향상에 효과적임을 입증하며, 표준 적대적 훈련보다 속이는 임계점에서 뛰어난 성능을 보였다.