[논문 리뷰] Android Malware Detection using Feature Ranking of Permissions

Muhammad Suleman Saleem, Jelena Mišić외 1명|arXiv (Cornell University)|2022. 01. 20.

Advanced Malware Detection Techniques인용 수 4

한 줄 요약

이 논문은 희귀한 허가 권한을 줄이기 위해 카이제곱 검정과 피셔의 정확 검정을 통한 특성 순위 매기기를 통해 허가 기반의 안드로이드 악성코드 탐지 프레임워크를 제안한다. 이후 랜덤 포레스트를 사용한 분류를 통해 전체 Drebin 데이터셋에서 99.34%의 정확도와 92.17%의 F-score를 달성하여 이전의 허가 권한 중심 접근 방식을 능가한다.

ABSTRACT

We investigate the use of Android permissions as the vehicle to allow for quick and effective differentiation between benign and malware apps. To this end, we extract all Android permissions, eliminating those that have zero impact, and apply two feature ranking algorithms namely Chi-Square test and Fisher's Exact test to rank and additionally filter them, resulting in a comparatively small set of relevant permissions. Then we use Decision Tree, Support Vector Machine, and Random Forest Classifier algorithms to detect malware apps. Our analysis indicates that this approach can result in better accuracy and F-score value than other reported approaches. In particular, when random forest is used as the classifier with the combination of Fisher's Exact test, we achieve 99.34\% in accuracy and 92.17\% in F-score with the false positive rate of 0.56\% for the dataset in question, with results improving to 99.82\% in accuracy and 95.28\% in F-score with the false positive rate as low as 0.05\% when only malware from three most popular malware families are considered.

연구 동기 및 목표

• 안드로이드 매니페스트 파일에서 추출한 허가 권한만을 사용하여 악성코드 탐지의 정확도와 F-score를 향상시키는 것.
• 통계적 특성 선택 방법을 활용해 관련 없는 허가 권한을 제거하고 나머지 허가 권한을 순위 매김하여 특성 차원을 감소시키는 것.
• 결정 트리, 서포트 벡터 머신(SVM), 랜덤 포레스트 등 다양한 기계 학습 분류기의 순위 매겨진 허가 권한 특성에 대한 성능을 평가하는 것.
• 정확도, F-score, 그리고 가짜 양성 비율 측면에서 제안된 방법을 기존의 허가 기반 및 하이브리드 악성코드 탐지 방법과 비교하는 것.
• 위험 카테고리(일반, 위험, 서명)에 관계없이 관련 있는 허가 권한에 집중할 경우 탐지 성능이 향상됨을 입증하는 것.

제안 방법

• Drebin 데이터셋에서 119,808개 앱(114,298개 정상, 5,510개 악성코드)의 매니페스트 파일에서 안드로이드 허가 권한을 추출하였다.
• 통계적 유의성 검정을 통해 악성코드 분류에 영향을 주지 않는 허가 권한을 제거하였다.
• 카이제곱 검정과 피셔의 정확 검정을 적용하여 p-값 기반으로 허가 권한을 순위 매기고, 악성코드 클래스와 강한 연관성이 있는 허가 권한만을 선별하였다.
• 필터링 및 순위 매겨진 허가 권한 세트에 대해 세 가지 분류기인 결정 트리, 서포트 벡터 머신(SVM), 랜덤 포레스트를 사용하였다.
• 표준 평가 지표인 정확도, F-score, 가짜 양성 비율을 사용하여 두 데이터셋(전체 Drebin 및 가장 흔한 세 가지 악성코드 가족만 포함된 부분집합)에서 성능을 평가하였다.
• 최신의 허가 기반 및 하이브리드(허가 권한 + 코드) 접근 방식과의 비교를 통해 제안된 방법의 우수성을 입증하였다.

실험 결과

연구 질문

• RQ1 통계적 검정을 통한 안드로이드 허가 권한의 특성 순위 매기기가 필터링되지 않은 허가 권한 세트에 비해 악성코드 탐지 정확도를 향상시킬 수 있는가?
• RQ2 카이제곱 검정과 피셔의 정확 검정은 악성코드 탐지에 가장 구분력 있는 허가 권한을 식별하는 데 얼마나 효과적인가?
• RQ3 순위 매겨진 허가 권한 특성에 적용했을 때 랜덤 포레스트 분류기가 결정 트리 및 SVM보다 성능이 뛰어나게 되는가?
• RQ4 세 가지 가장 흔한 악성코드 가족에만 집중할 경우 탐지 성능은 어떻게 변화하는가?
• RQ5 관련 없는 허가 권한을 제거함으로써 허가 기반 악성코드 탐지에서 F-score는 얼마나 향상되고, 가짜 양성 비율은 얼마나 감소하는가?

주요 결과

• 제안된 방법은 전체 Drebin 데이터셋에서 피셔의 정확 검정과 랜덤 포레스트를 사용하여 99.34%의 정확도와 92.17%의 F-score를 달성하였다.
• 세 가지 가장 흔한 악성코드 가족으로 제한했을 경우 정확도는 99.82%로 향상되었고, F-score는 95.28%로 상승하였으며, 가짜 양성 비율은 0.05%로 매우 낮게 유지되었다.
• Drebin 원래 방법(전체 데이터셋에서 93.90% 정확도)과 다른 허가 권한 중심 접근 방식(순차적 전진 선택 및 PCA를 사용한 방법 포함)을 모두 능가하였다.
• 비슷한 연구에서 보고된 0.60% 대비 더 낮은 가짜 양성 비율(0.56%)을 기록했으며, F-score는 92.17%로 더 높았다.
• 관련 없는 허가 권한을 제거하고 통계적 순위 매기기를 적용함으로써 APK Auditor(88% 정확도)보다 더 나은 성능을 달성하였다.
• 소스 코드를 활용한 하이브리드 접근 방식은 약간 더 높은 F-score(95.6%)를 기록했지만, 테스트된 데이터셋이 매우 작았기(387개 앱)에 비해 현재 방법은 대규모 데이터에서 더 우수한 확장성과 강건성을 보였다.