[논문 리뷰] Certified Robustness of Nearest Neighbors against Data Poisoning Attacks

Jinyuan Jia, Xiaoyu Cao외 1명|arXiv (Cornell University)|2021. 05. 04.

Adversarial Robustness in Machine Learning참고 문헌 1인용 수 14

한 줄 요약

이 논문은 k-최근접 이웃(kNN)과 반경 최근접 이웃(rNN)이 내재된 다수결 투표 메커니즘 덕분에 데이터 풀링 공격에 대해 인한 인지적 강건성을 내재적으로 제공한다는 것을 입증한다. MNIST와 CIFAR10에서의 실험 결과는 이러한 내재적 강건성이 최신의 인지적 방어 방법을 능가함을 보여준다.

ABSTRACT

Data poisoning attacks aim to corrupt a machine learning model via modifying, adding, and/or removing some carefully selected training examples, such that the corrupted model predicts any or attacker-chosen incorrect labels for testing examples. The key idea of state-of-the-art certified defenses against data poisoning attacks is to create a \emph{majority vote} mechanism to predict the label of a testing example. Moreover, each voter is a base classifier trained on a subset of the training dataset. Nearest neighbor algorithms such as k nearest neighbors (kNN) and radius nearest neighbors (rNN) have intrinsic majority vote mechanisms. In this work, we show that the intrinsic majority vote mechanisms in kNN and rNN already provide certified robustness guarantees against general data poisoning attacks. Moreover, our empirical evaluation results on MNIST and CIFAR10 show that the intrinsic certified robustness guarantees of kNN and rNN outperform those provided by state-of-the-art certified defenses.

연구 동기 및 목표

• 근접 이웃 알고리즘이 데이터 풀링 공격에 대해 본질적으로 인지적 강건성을 제공하는지 조사하기 위해.
• 기존의 인지적 방어 방법과 비교하여 kNN과 rNN의 강건성 보장을 평가하기 위해.
• 근접 이웃 모델의 내재된 다수결 투표 메커니즘이 추가 학습이나 아키텍처 변경 없이도 강력한 방어 수단이 될 수 있는지 확인하기 위해.
• 다양한 데이터 풀링 공격 시나리오에서 kNN과 rNN의 인지적 강건성을 경험적으로 검증하기 위해.

제안 방법

• kNN과 rNN의 내재된 다수결 투표 메커니즘을 활용하여, 예측 레이블이 가장 가까운 이웃들 중 빈도가 가장 높은 레이블에 의해 결정됨을 기반으로 한다.
• kNN과 rNN의 인지적 강건성을 공식화하기 위해, 테스트 예측을 변경하기 위해 얼마나 많은 훈련 예제가 풀링되어야 하는지 분석한다.
• 특정 테스트 입력에 대해 모델의 예측을 바꾸기 위해 필요한 최소한의 훈련 예제 수를 기반으로 인지적 강건성 임계값을 정의한다.
• 이 임계값을 사용하여 강건성 보장을 정량화하며, 풀링된 예제 수가 임계값 이하일 경우 예측이 정확하게 유지됨을 보장한다.
• 표준 벤치마크인 MNIST와 CIFAR10에 이 방법을 적용하여 실제 풀링 시나리오에서의 강건성을 평가한다.
• 동일한 공격 설정에서 kNN과 rNN의 인지적 강건성 경계를 최신 기술의 인지적 방어 방법과 비교한다.

실험 결과

연구 질문

• RQ1 kNN과 rNN는 내재된 다수결 투표 메커니즘 덕분에 데이터 풀링 공격에 대해 인지적 강건성을 제공할 수 있는가?
• RQ2 표준 데이터셋에서 kNN과 rNN의 인지적 강건성은 최신 기술의 인지적 방어 방법과 비교해 어떻게 다른가?
• RQ3 kNN과 rNN에서 테스트 예측을 바꾸기 위해 필요한 최소한의 풀링된 훈련 예제 수는 얼마인가?
• RQ4 다양한 데이터 풀링 공격 패tern 하에서 근접 이웃 모델의 내재적 강건성은 여전히 강력한가?

주요 결과

• kNN과 rNN의 내재된 다수결 투표 메커니즘이 추가 학습이나 모델 수정 없이도 데이터 풀링 공격에 대해 인지적 강건성 보장을 제공한다.
• MNIST와 CIFAR10에서 kNN과 rNN의 인지적 강건성은 유사 설정에서 최신 기술의 인지적 방어 방법을 초월한다.
• kNN과 rNN의 인지적 강건성 임계값은 기존 방어 방법보다 높아, 더 높은 풀링에 대한 저항성을 나타낸다.
• 강건성 보장은 모델의 아키텍처와 훈련 데이터에서 직접 유도되므로, 본질적으로 신뢰할 수 있고 검증 가능하다.