[논문 리뷰] TESSERACT: Eliminating Experimental Bias in Malware Classification across Space and Time

Feargus Pendlebury, Fabio Pierazzi외 3명|arXiv (Cornell University)|2018. 07. 20.

Advanced Malware Detection Techniques인용 수 140

한 줄 요약

이 논문은 Android 악성코드 평가에서 공간적 및 시간적 편향을 식별하고, 제약 조건과 새로운 견고성 지표(AUT)를 제안하며, 편향 없는 공간-시간 인식 악성코드 분류기 평가를 가능하게 하는 오픈 프레임워크인 Tesseract를 제시한다.

ABSTRACT

Is Android malware classification a solved problem? Published F1 scores of up to 0.99 appear to leave very little room for improvement. In this paper, we argue that results are commonly inflated due to two pervasive sources of experimental bias: "spatial bias" caused by distributions of training and testing data that are not representative of a real-world deployment; and "temporal bias" caused by incorrect time splits of training and testing sets, leading to impossible configurations. We propose a set of space and time constraints for experiment design that eliminates both sources of bias. We introduce a new metric that summarizes the expected robustness of a classifier in a real-world setting, and we present an algorithm to tune its performance. Finally, we demonstrate how this allows us to evaluate mitigation strategies for time decay such as active learning. We have implemented our solutions in TESSERACT, an open source evaluation framework for comparing malware classifiers in a realistic setting. We used TESSERACT to evaluate three Android malware classifiers from the literature on a dataset of 129K applications spanning over three years. Our evaluation confirms that earlier published results are biased, while also revealing counter-intuitive performance and showing that appropriate tuning can lead to significant improvements.

연구 동기 및 목표

• 공간적 및 시간적 편향이 Android 악성코드 분류 평가를 어떻게 왜곡하는지 식별한다.
• 실험 설정에서 편향을 제거하기 위한 엄격한 공간-시간 평가 프레임워크를 제안한다.
• 시간 감소에 대한 견고성을 정량화하는 새로운 지표(AUT)를 도입한다.
• 연구 간 공정하고 재현 가능한 평가를 가능하게 하는 오픈 소스 도구 키트(Tesseract)를 제공한다.

제안 방법

• 편향을 정량하기 위해 대표적인 두 Android 악성코드 분류기(Alg1: 이진 특징에 선형 SVM; Alg2: Markov 체인 특징에 기반한 랜덤 포레스트)를 분석한다.
• 실제 배치를 모사하기 위해 학습/테스트 분할에 대한 공간-시간 제약을 정의하고 강제한다.
• 시간 감소에 대한 견고성 지표 AUT를 도입하여 시간에 따른 분류기 성능을 요약한다.
• 악성코드가 소수 클래스일 때 제약 하에서 성능을 최적화하는 튜닝 알고리즘을 개발한다.
• 재현 가능하고 편향 없는 평가를 촉진하기 위해 Tesseract를 구현하고 공개한다.

실험 결과

연구 질문

• RQ1 공간적·시간적 편향이 보고된 Android 악성코드 분류기 성능에 어떤 영향을 미치는가?
• RQ2 공간-시간 제약과 새로운 지표가 시간에 걸쳐 더 현실적이고 견고한 평가를 제공할 수 있는가?
• RQ3 편향 제거가 대규모 Android 데이터셋에서 기존 분류기(Alg1, Alg2, 및 DL)의 비교 성능에 어떤 변화를 가져오는가?
• RQ4 시간 감소와 클래스 불균형이 분류기 성능에 미치는 영향은 무엇이며, 완화 전략은 어떻게 평가할 수 있는가?

주요 결과

• 편향은 일반적인 Android 악성코드 분류기에 대해 실제 성능을 최대 50%까지 감소시킬 수 있다.
• 현실적인 공간-시간 평가 설정은 전통적 벤치마크에서 보이지 않는 직관에 반하는 결과를 드러낸다.
• 시간 인식 지표 AUT는 공정한 비교를 위해 시간 감소에 대한 견고성을 한 숫자로 포착한다.
• 공간-시간 제약과 튜닝을 통한 편향 제거가 분류기의 인식된 효과를 크게 바꿀 수 있다.
• Tesseract는 활성 학습과 같은 완화 전략을 편향 없는 조건에서 평가할 수 있게 한다.