[논문 리뷰] Contaminant Removal for Android Malware Detection Systems

Lichao Sun, Xiaokai Wei외 4명|arXiv (Cornell University)|2017. 11. 07.

Advanced Malware Detection Techniques참고 문헌 15인용 수 5

한 줄 요약

이 논문은 기계학습 기반 악성 소프트웨어 검출에 사용되는 정상 안드로이드 앱 데이터셋에 포함된 악성 오염물질을 탐지하고 제거하기 위해 Positive and Unlabeled (PU) 학습 기반 프레임워크인 PUDroid를 제안한다. 특성 선택 및 PU 학습을 적용함으로써 PUDroid는 오염된 데이터셋을 사용하는 시스템 대비 정확도를 45% 향상시키고 탐지율을 62.82% 향상시킨다.

ABSTRACT

A recent report indicates that there is a new malicious app introduced every 4 seconds. This rapid malware distribution rate causes existing malware detection systems to fall far behind, allowing malicious apps to escape vetting efforts and be distributed by even legitimate app stores. When trusted downloading sites distribute malware, several negative consequences ensue. First, the popularity of these sites would allow such malicious apps to quickly and widely infect devices. Second, analysts and researchers who rely on machine learning based detection techniques may also download these apps and mistakenly label them as benign since they have not been disclosed as malware. These apps are then used as part of their benign dataset during model training and testing. The presence of contaminants in benign dataset can compromise the effectiveness and accuracy of their detection and classification techniques. To address this issue, we introduce PUDROID (Positive and Unlabeled learning-based malware detection for Android) to automatically and effectively remove contaminants from training datasets, allowing machine learning based malware classifiers and detectors to be more effective and accurate. To further improve the performance of such detectors, we apply a feature selection strategy to select pertinent features from a variety of features. We then compare the detection rates and accuracy of detection systems using two datasets; one using PUDROID to remove contaminants and the other without removing contaminants. The results indicate that once we remove contaminants from the datasets, we can significantly improve both malware detection rate and detection accuracy

연구 동기 및 목표

• 신뢰할 수 있는 앱 스토어를 통해 유포되는 탐지되지 않은 악성 소프트웨어 문제를 해결하기 위해, 정상 학습 데이터셋이 오염되는 문제를 해결한다.
• 기계학습 기반 악성 소프트웨어 검출 시스템에 악성 오염물질이 포함된 정상 데이터셋이 악영향을 미치는 것을 완화하며, 이는 높은 거짓 음성 비율을 초래할 수 있다.
• 신뢰할 수 있는 앱 리포지터리 내에서 정상 앱으로 위장된 악성 앱을 식별하고 제거할 수 있는 강력하고 자동화된 방법을 개발한다.
• 오염물질 제거를 통해 학습 데이터의 순수성을 확보함으로써 악성 소프트웨어 탐지 모델의 신뢰성과 정확도를 향상시킨다.
• 오염물질 제거가 다양한 분류기와 오염 상황에서 탐지 성능을 크게 향상시킨다는 것을 입증한다.

제안 방법

• 양성 집합에는 알려진 악성 소프트웨어가 포함되고, 비정상 집합에는 탐지되지 않은 악성 오염물질이 혼합된 정상 앱이 포함된 Positive and Unlabeled (PU) 학습을 활용한다.
• 정적 및 동적 앱 분석에서 '해석 가능한' 특성을 식별하고 추출하기 위해 특성 선택 전략을 적용하여 모델의 해석 가능성과 성능을 향상시킨다.
• 비모수적 학습 프레임워크를 사용해 비정상 앱 내 악성 소프트웨어의 숨겨진 확률을 추정함으로써 효과적인 오염물질 탐지가 가능하도록 한다.
• PU 학습 모델을 사전 처리 검증기로 통합하여, 악성 소프트웨어가 재패키징된 앱을 정상 앱 컬렉션에서 사전에 걸러내어 탐지 모델 학습 이전에 제거한다.
• 다양한 특성 유형(예: 권한, API 호출, 시스템 호출)을 조합하고 임bedding 기법을 적용하여 모델의 강건성을 향상시킨다.
• 실제 세계의 다양한 오염 수준을 가진 데이터셋을 사용하여 프레임워크를 평가하며, 알려지지 않은 악성 소프트웨어 및 정상 앱이 악성 소프트웨어 집합에 잘못 포함된 경우도 포함한다.

실험 결과

연구 질문

• RQ1 PU 학습이 정상 안드로이드 앱 데이터셋 내 악성 오염물질을 얼마나 효과적으로 탐지할 수 있는가?
• RQ2 오염물질 제거가 기계학습 기반 악성 소프트웨어 탐지기의 정확도와 탐지율에 어떤 영향을 미치는가?
• RQ3 특성 선택 전략이 재패키징된 악성 소프트웨어 탐지에서 PU 학습의 성능과 강건성을 향상시키는 데 기여하는가?
• RQ4 PUDroid는 높은 오염 수준과 알려지지 않은 악성 소프트웨어 변종이 포함된 현실적인 오염 상황에서 어떻게 성능을 발휘하는가?
• RQ5 PUDroid를 학습 파이프라인에 통합할 경우, 다양한 분류기(SVM, 랜덤 포레스트, 결정 트리 등)에서 탐지 결과가 일관되게 향상되는가?

주요 결과

• PUDroid는 정상 앱 데이터셋에서 거의 100%의 악성 오염물질을 성공적으로 제거하여 학습 데이터 품질을 크게 향상시켰다.
• 오염된 데이터셋을 사용할 경우 표준 분류기(예: 랜덤 포레스트)의 악성 소프트웨어 탐지율은 55.5%로 떨어지지만, PUDroid를 적용하면 96.36%로 향상된다.
• PU 학습을 사용하지 않고 오염된 데이터셋을 그대로 사용할 경우 대비, PUDroid로 데이터셋을 정제할 경우 정확도가 45% 향상된다.
• PUDroid를 적용할 경우 탐지율이 62.82% 향상되어 기준 분류기 대비 상당한 성능 향상을 보였다.
• 랜덤 포레스트는 PUDroid와 함께 사용했을 때, 악성 소프트웨어 데이터셋에 정상 앱이 다량 포함된 상태에서도 96.36%의 정확도를 기록했다.
• SVM는 오염된 데이터셋에서 성능이 열악하여, 모델 학습 이전에 오염물질 제거가 매우 중요하다는 점을 입증했다.