[논문 리뷰] New data poison attacks on machine learning classifiers for mobile exfiltration

Miguel A. Ramirez, Sang-Young Yoon외 8명|arXiv (Cornell University)|2022. 10. 20.

Advanced Malware Detection Techniques인용 수 5

한 줄 요약

이 논문은 모바일 악성 소프트웨어 유출 탐지용 기계학습 분류기 대상으로, 모델에 종속되지 않는 두 가지 새로운 데이터 풀기 공격을 제안한다. 이 공격은 레이블 뒤집기 기반으로 작동하며, 랜덤하게 레이블을 뒤집거나 특정 클래스에만 집중적으로 공격하여 다양한 분류기인 로지스틱 회귀, 의사결정트리, 랜덤 포레스트, KNN에서 모델 정확도를 크게 떨어뜨리고 오분류 비율을 증가시킨다. 이는 악성 소프트웨어 탐지 시스템의 심각한 취약성을 보여준다.

ABSTRACT

Most recent studies have shown several vulnerabilities to attacks with the potential to jeopardize the integrity of the model, opening in a few recent years a new window of opportunity in terms of cyber-security. The main interest of this paper is directed towards data poisoning attacks involving label-flipping, this kind of attacks occur during the training phase, being the aim of the attacker to compromise the integrity of the targeted machine learning model by drastically reducing the overall accuracy of the model and/or achieving the missclassification of determined samples. This paper is conducted with intention of proposing two new kinds of data poisoning attacks based on label-flipping, the targeted of the attack is represented by a variety of machine learning classifiers dedicated for malware detection using mobile exfiltration data. With that, the proposed attacks are proven to be model-agnostic, having successfully corrupted a wide variety of machine learning models; Logistic Regression, Decision Tree, Random Forest and KNN are some examples. The first attack is performs label-flipping actions randomly while the second attacks performs label flipping only one of the 2 classes in particular. The effects of each attack are analyzed in further detail with special emphasis on the accuracy drop and the misclassification rate. Finally, this paper pursuits further research direction by suggesting the development of a defense technique that could promise a feasible detection and/or mitigation mechanisms; such technique should be capable of conferring a certain level of robustness to a target model against potential attackers.

연구 동기 및 목표

• 기계학습 분류기가 모바일 악성 소프트웨어 탐지 과정에서 학습 단계 동안 데이터 풀기 공격에 얼마나 취약한지 조사하기 위해.
• 다양한 최신 기술 기반 이진 분류기에서 효과적인 두 가지 새로운 레이블 뒤집기 데이터 풀기 공격을 개발하고 평가하기 위해.
• 이러한 공격이 실제 모바일 유출 데이터 환경에서 모델 정확도와 오분류 비율에 미치는 영향을 분석하기 위해.
• 현재의 모델에 종속되지 않는 풀기 공격에 대비한 방어 메커니즘의 핵심 격차를 규명하기 위해.
• 향후 학습 데이터 내 레이블 뒤집기 공격를 탐지하고 완화할 수 있는 방어 메커니즘의 기초를 마련하기 위해.

제안 방법

• 첫 번째 공격은 학습 샘플의 일부에 대해 랜덤하게 레이블을 뒤집어 학습 중 모델의 무결성을 손상시킨다.
• 두 번째 공격은 두 클래스 중 하나의 클래스에만 레이블을 선택적으로 뒤집어 특정 클래스의 오분류를 극대화한다.
• 공격는 모바일 유출 데이터셋에 적용되며, 로지스틱 회귀, 의사결정트리, 랜덤 포레스트, KNN 등 여러 이진 분류기에서 평가된다.
• 공격 후 모델 성능은 정확도 감소율과 오분류 비율 지표를 통해 정량화된다.
• 제안된 공격는 모델에 종속되지 않으며, 내부 모델 아키텍처나 학습 과정에 대한 지식이 필요하지 않다.
• 재현성과 투명성을 확보하기 위해 연구는 공개된 데이터셋과 코드 리포지토리를 사용한다.

실험 결과

연구 질문

• RQ1 다양한 기계학습 분류기에서 무작위 레이블 뒤집기 공격가 모바일 악성 소프트웨어 탐지 성능을 얼마나 효과적으로 떨어뜨릴 수 있는가?
• RQ2 특정 클래스에 대한 선택적 레이블 뒤집기 공격가 전체 모델 정확도를 낮추면서도 해당 클래스의 오분류 비율을 크게 증가시킬 수 있는가?
• RQ3 최신 이진 분류기들이 레이블 뒤집기 기반의 모델에 종속되지 않는 데이터 풀기 공격에 얼마나 견딜 수 있는가?
• RQ4 악성 소프트웨어 탐지 파이프라인에서 이러한 풀기 공격를 가능하게 하는 현재의 주요 취약점은 무엇인가?
• RQ5 레이블 뒤집기 공격를 탐지하거나 완화할 수 있는 방어 메커니즘의 필수 구성 요소는 무엇인가?

주요 결과

• 제안된 랜덤 레이블 뒤집기 공격는 로지스틱 회귀 및 의사결정트리와 같은 일부 분류기에서 정확도가 50% 이상 감소하는 등 심각한 성능 저하를 유발하였다.
• 선택적 레이블 뒤집기 공격는 타겟 클래스에서 더 높은 오분류 비율을 달성하여, 집중적인 조작이 랜덤 뒤집기보다 더 효과적일 수 있음을 보여주었다.
• 모든 테스트된 분류기—로지스틱 회귀, 의사결정트리, 랜덤 포레스트, KNN—는 둘 다 공격 유형에 의해 상당한 성능 저하를 겪었다.
• 공격는 다양한 모델에서 효과적이었으며, 이는 공격의 모델에 종속되지 않는 성격과 악성 소프트웨어 탐지 시스템에 광범위하게 적용 가능함을 확인한다.
• 결과는 학습 전에 강력한 데이터 정제 및 방어 메커니즘이 필수적임을 강조한다.
• 연구는 소규모 데이터 풀기 공격라도 모바일 환경에서 기계학습 기반 악성 소프트웨어 탐지의 신뢰성을 심각하게 악화시킬 수 있음을 입증한다.