[논문 리뷰] Application of Explainable Machine Learning in Detecting and Classifying Ransomware Families Based on API Call Analysis

Rawshan Ara Mowri, Madhuri Siddula외 1명|arXiv (Cornell University)|2022. 10. 16.

Advanced Malware Detection Techniques인용 수 4

한 줄 요약

이 논문은 동적 실행된 바이너리에서 API 호출 빈도 분석을 사용하여 15개의 랜섬웨어 패밀리를 탐지하고 분류하기 위한 설명 가능한 기계학습 프레임워크를 제안한다. 자체 개발한 웹 크롤러를 활용해 샘플을 수집하고, RFECV와 RandomSearchCV를 사용한 이중 단계 특성 공학을 적용하며, SHAP를 활용해 모델의 해석 가능성을 확보함으로써, 로지스틱 회귀를 사용해 99.15%의 정확도를 달성하였다. 가장 영향력 있는 특성으로는 NtAlpcSendWaitReceivePort가 확인되었다.

ABSTRACT

Ransomware has appeared as one of the major global threats in recent days. The alarming increasing rate of ransomware attacks and new ransomware variants intrigue the researchers to constantly examine the distinguishing traits of ransomware and refine their detection strategies. Application Programming Interface (API) is a way for one program to collaborate with another; API calls are the medium by which they communicate. Ransomware uses this strategy to interact with the OS and makes a significantly higher number of calls in different sequences to ask for taking action. This research work utilizes the frequencies of different API calls to detect and classify ransomware families. First, a Web-Crawler is developed to automate collecting the Windows Portable Executable (PE) files of 15 different ransomware families. By extracting different frequencies of 68 API calls, we develop our dataset in the first phase of the two-phase feature engineering process. After selecting the most significant features in the second phase of the feature engineering process, we deploy six Supervised Machine Learning models: Na"ive Bayes, Logistic Regression, Random Forest, Stochastic Gradient Descent, K-Nearest Neighbor, and Support Vector Machine. Then, the performances of all the classifiers are compared to select the best model. The results reveal that Logistic Regression can efficiently classify ransomware into their corresponding families securing 99.15% overall accuracy. Finally, instead of relying on the 'Black box' characteristic of the Machine Learning models, we present the post-hoc analysis of our best-performing model using 'SHapley Additive exPlanations' or SHAP values to ascertain the transparency and trustworthiness of the model's prediction.

연구 동기 및 목표

• 다양한 랜섬웨어 패밀리 간의 탐지 및 분류 정확도 향상을 통해 랜섬웨어 위협의 증가에 대응한다.
• 수집된 데이터셋을 구성하는 데 소요되는 수작업을 줄이기 위해 Windows PE 파일 15종의 자동 수집을 자동화한다.
• 신뢰성 있고 설명 가능한 기계학습 파이프라인을 개발하여 랜섬웨어 분류의 투명성과 신뢰도를 향상시킨다.
• 엄격한 초모수 튜닝과 특성 선택을 통해 기존 방법을 뛰어넘는 모델 성능을 최적화한다.

제안 방법

• 공개 저장소에서 15개의 서로 다른 랜섬웨어 패밀리의 포터블 실행 파일(PE 파일)을 자동으로 수집하기 위해 자체 개발한 웹 크롤러 'GetRansomware'를 구축했다.
• 샌드박스 환경에서 랜섬웨어 및 정상 바이너리를 실행하여 API 호출 빈도를 추출하고, 이를 데이터셋의 기초로 삼았다.
• 이중 단계 특성 공학 과정을 적용: 먼저 68개의 API 호출 빈도를 추출한 후, 교차검증을 통한 순차적 특성 제거(RFECV)를 사용해 가장 관련성이 높은 특성들을 선별했다.
• 랜덤서치를 통한 초모수 튜닝을 적용해 나이브 베이즈, 로지스틱 회귀, 랜덤 포레스트, SGD, K-최근접 이웃, 서포트 벡터 머신의 6개의 지도 학습 모델을 최적화했다.
• 정확도, 정밀도, 재현율, F1 점수, AUROC를 기준으로 비교 평가한 결과, 로지스틱 회귀가 가장 뛰어난 성능을 보였다.
• 모델 결정의 해석 가능성을 확보하기 위해 사후 해석 분석으로 SHapley Additive exPlanations(SHAP)를 활용하여 특성 기여도를 분석하고 모델 결정을 검증했다.

실험 결과

연구 질문

• RQ1 랜섬웨어 샘플의 자동 수집이 악성코드 탐지 연구의 확장성과 재현 가능성을 향상시킬 수 있는가?
• RQ2 API 호출 빈도를 기반으로 다수의 랜섬웨어 패밀리를 분류할 때 가장 높은 정확도를 달성하는 기계학습 모델은 무엇인가?
• RQ3 다양한 API 호출이 분류 결정에 어떻게 기여하는가? 어떤 특성이 랜섬웨어 행동을 가장 예측적으로 반영하는가?
• RQ4 SHAP 기반의 설명 가능성은 랜섬웨어 탐지에서 기계학습 모델의 신뢰성과 투명성을 어느 정도 향상시키는가?

주요 결과

• 로지스틱 회귀는 API 호출 빈도 데이터를 사용해 15개의 서로 다른 랜섬웨어 패밀리를 분류하는 데 총 정확도 99.15%를 기록했다.
• 가장 영향력 있는 특성으로는 'NtAlpcSendWaitReceivePort' API 호출의 빈도가 확인되었으며, 이는 평균 절대 SHAP 값에서 가장 높았다.
• 가장 기여도가 높은 20개의 특성으로 제한했을 때도 로지스틱 회귀 모델은 높은 정확도 95.48%를 유지했으며, 나머지 21개 특성이 성능 향상에 기여했음을 시사했다.
• SHAP 분석 결과, 'NtAlpcSendWaitReceivePort'의 값이 낮을수록 모델 출력에 부정적인 영향을 미치는 것으로 나타났고, 반면 'NtFsControlFile'의 값이 낮을수록 긍정적인 영향을 미쳤다. 이는 특성의 기여 방향성을 명확히 보여주었다.
• 기존의 API 기반 분류 방법에 비해 정확도와 다중 클래스 분류 능력에서 모두 뛰어난 성능을 보였으며, 이전 연구의 최대 98.65%에 비해 99.15%의 정확도를 달성했다.
• SHAP 기반 설명 가능성 통합은 모델 행동에 대한 실질적인 통찰을 제공하여 자동화된 랜섬웨어 분류 시스템의 투명성과 신뢰도를 향상시켰다.