[논문 리뷰] Curie: A method for protecting SVM Classifier from Poisoning Attack

Ricky Laishram, Vir V. Phoha|arXiv (Cornell University)|2016. 06. 05.

Anomaly Detection Techniques and Applications참고 문헌 16인용 수 37

한 줄 요약

Curie는 특성 공간 내에서 군집화와 (특성 + 라벨) 거리 분석을 통해 적대적으로 오염된 데이터 포인트를 탐지하고 필터링함으로써 SVM 분류기의 오염 공격에 대한 보호를 제공하는 경량이며 비지도 학습 방법이다. 높은 정확도와 낮은 거짓 긍정 비율을 유지하면서도 파ameter 조정에 거의 민감하지 않아, 심각한 오염 상황에서도 안정적인 성능을 발휘한다.

ABSTRACT

Machine learning is used in a number of security related applications such as biometric user authentication, speaker identification etc. A type of causative integrity attack against machine learning called Poisoning attack works by injecting specially crafted data points in the training data so as to increase the false positive rate of the classifier. In the context of the biometric authentication, this means that more intruders will be classified as valid user, and in case of speaker identification system, user A will be classified user B. In this paper, we examine poisoning attack against SVM and introduce - Curie - a method to protect the SVM classifier from the poisoning attack. The basic idea of our method is to identify the poisoned data points injected by the adversary and filter them out. Our method is light weight and can be easily integrated into existing systems. Experimental results show that it works very well in filtering out the poisoned data.

연구 동기 및 목표

• 보안이 중요한 응용 분야에서 SVM 분류기의 원인적 무결성 오염 공격에 대한 취약성을 해결하기 위해.
• 기존 시스템에 주기적인 재학습을 통해 쉽게 통합할 수 있는 경량이며 비지도 학습 방법을 개발하기 위해.
• 특성 공간에서는 구분이 어려운데도 라벨가 뒤집힌 오염된 데이터 포인트를 탐지하고 필터링하기 위해.
• 다양한 수준의 오염과 다중 클래스 설정에서의 강인성 평가하기 위해.
• 특히 노이즈 비율 ρ의 추정에 대한 민감도를 줄여 실세계 배포에 적합하게 만들기 위해.

제안 방법

• 재학습 전에 특성 공간에서 데이터 포인트를 군집화하여 유사한 인스턴스를 그룹화한다.
• 각 포인트가 같은 군집 내 다른 포인트들과 평균적으로 얼마나 떨어져 있는지를 계산하며, 이때 레이블을 (특성 + 라벨) 공간 내 가중치가 부여된 특성로 간주한다.
• 군집 내 유사도에 대해 신뢰도가 95% 이하인 포인트는 잠재적으로 오염된 것으로 간주되어 학습에서 제거된다.
• 오염된 포인트는 특성 공간에서는 유사하지만, 라벨 일관성 측면에서 이질적으로 나타나는 점을 활용한다.
• 재학습 이전의 사전 처리 필터로 적용되어 주기적 또는 누적 학습 파이프라인과 호환된다.
• 다중 클래스 설정으로의 확장은 MultiClass-Curie를 통해 이루어지며, 여러 클래스 간에도 효과를 유지한다.

실험 결과

연구 질문

• RQ1 공격에 대한 사전 지식 없이도 경량이며 비지도 학습 방법으로 오염된 데이터 포인트를 탐지하고 필터링할 수 있는가?
• RQ2 Curie는 점점 증가하는 오염 수준에서 분류기 정확도를 유지하고 거짓 긍정 비율을 최소화하는 데 얼마나 효과적인가?
• RQ3 실세계 데이터셋에서 노이즈 비율 ρ의 추정에 대해 Curie의 성능은 얼마나 민감한가?
• RQ4 MultiClass-Curie는 다중 클래스 분류 시나리오로 확장되어도 강인성을 유지할 수 있는가?
• RQ5 Curie는 동시에 유탈 공격과 오염 공격에 대한 방어 수단으로 기능할 수 있는가?

주요 결과

• 125개의 오염된 포인트(학습 데이터의 2.78%)가 존재하는 상황에서도 Curie는 분류기 정확도를 0.96 이상 유지했고, 보호되지 않은 모델은 0.918로 떨어졌다.
• Curie를 적용한 경우 오염 상황에서도 거짓 긍정 비율이 안정적으로 유지되어 무결성 공격에 대한 효과적인 완화가 이루어졌음을 시사한다.
• Curie는 ω와 ρ에 대해 낮은 민감도를 보여, ρ가 알려지지 않은 실세계 환경에서의 구현에 실용적이다.
• 다중 클래스 실험에서 MultiClass-Curie는 점점 증가하는 오염 수준에서도 기준 모델보다 정확도를 훨씬 더 잘 유지했다.
• Method는 특성 공간에서 정상 데이터와 시각적·통계적으로 유사한 오염된 데이터 포인트를 효과적으로 필터링했다.
• Curie의 비지도 학습 성격 덕분에 유탈 공격에 저항력이 있으며, 공격자가 동시에 유탈 공격과 오염 공격를 회피해야 하는 점을 고려하면 강력한 방어 수단이 된다.