[논문 리뷰] Why an Android App is Classified as Malware? Towards Malware Classification Interpretation

Bozhi Wu, Sen Chen외 5명|arXiv (Cornell University)|2020. 04. 24.

Advanced Malware Detection Techniques참고 문헌 66인용 수 8

한 줄 요약

이 논문은 Android 악성 소프트웨어 탐지에 사용되는 해석 가능한 기계학습 프레임워크인 XMal을 제안한다. XMal은 다층 퍼셉트론과 맞춤형 어텐션 메커니즘을 결합하여 핵심 기능을 식별하고 악성 행동에 대한 자연어 설명을 생성한다. XMal은 높은 탐지 정확도를 달성하며, 어텐션 기반 기능 가중치와 인간이 읽을 수 있는 설명을 통해 모델 결정을 도메인 전문 악성 행동과 정확하게 연결함으로써 LIME과 Drebin보다 해석 능력에서 뛰어나다.

ABSTRACT

Machine learning (ML) based approach is considered as one of the most promising techniques for Android malware detection and has achieved high accuracy by leveraging commonly-used features. In practice, most of the ML classifications only provide a binary label to mobile users and app security analysts. However, stakeholders are more interested in the reason why apps are classified as malicious in both academia and industry. This belongs to the research area of interpretable ML but in a specific research domain (i.e., mobile malware detection). Although several interpretable ML methods have been exhibited to explain the final classification results in many cutting-edge Artificial Intelligent (AI) based research fields, till now, there is no study interpreting why an app is classified as malware or unveiling the domain-specific challenges. In this paper, to fill this gap, we propose a novel and interpretable ML-based approach (named XMal) to classify malware with high accuracy and explain the classification result meanwhile. (1) The first classification phase of XMal hinges multi-layer perceptron (MLP) and attention mechanism, and also pinpoints the key features most related to the classification result. (2) The second interpreting phase aims at automatically producing neural language descriptions to interpret the core malicious behaviors within apps. We evaluate the behavior description results by comparing with the existing interpretable ML-based methods (i.e., Drebin and LIME) to demonstrate the effectiveness of XMal. We find that XMal is able to reveal the malicious behaviors more accurately. Additionally, our experiments show that XMal can also interpret the reason why some samples are misclassified by ML classifiers. Our study peeks into the interpretable ML through the research of Android malware detection and analysis.

연구 동기 및 목표

• 기계학습 기반 Android 악성 소프트웨어 탐지에서 해석 가능성의 부족 문제를 해결하기 위해, 악성으로 분류된 앱의 이유를 설명하지 못하는 이진 레이블만 제공하는 현상에 대응한다.
• 악성 소프트웨어 분류 원인을 특정 기능의 영향력 있는 요소로 식별하고, 이를 인간이 이해할 수 있는 악성 행동 설명으로 번역하는 방법을 개발한다.
• 기존의 해석 가능한 기계학습 방법인 LIME과 Drebin의 한계를 극복하기 위해, 기능 간 상관관계를 고려하지 못하고, 악성 소프트웨어 탐지에서 일치하지 않거나 저품질의 설명을 생성한다는 점을 해결한다.
• 보안 분석가와 앱 스토어가 앱이 악성인지 여부를 넘어서, 모델이 그 결정을 내린 정확한 이유와 방식을 이해할 수 있도록 한다.
• 해석 가능한 분석을 통해 잠재적인 오분류 원인과 공격자에 의한 변형된 특성에 노출된 취약점을 드러내어 모델의 강건성 향상을 도모한다.

제안 방법

• XMal은 두 단계의 접근 방식을 사용한다: 첫 번째 단계에서는 다층 퍼셉트론(MLP)과 맞춤형 어텐션 메커니즘을 활용해 앱을 악성 또는 양성으로 분류하고, 가장 관련성이 높은 특징을 식별한다.
• 스칼라 값 특징을 위해 어텐션 메커니즘은 각 특징의 분류 결정에서의 중요도를 반영하는 어텐션 가중치를 계산하기 위해 완전 연결 네트워크를 사용한다.
• 두 번째 단계에서는 상위 가중치를 가진 특징들을 사전에 정의된 악성 행동 의미 지식 기반에 매핑하여 악성 행동의 자연어 설명을 생성한다.
• 모델은 종합적인 분류 정확도와 신뢰할 수 있는 어텐션 기반 기능 기여도를 동시에 최적화하기 위해 엔드 투 엔드로 훈련된다.
• 기능 간 상관관계는 어텐션 메커니즘을 통해 유지되며, 이는 LIME 및 유사한 방법에서 흔한 선형 근사 오류를 피한다.
• 인간 평가와 정량적 분석을 통해 생성된 설명의 품질과 정확도를 검증하기 위해 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 기계학습 기반 Android 악성 소프트웨어 탐지 모델의 해석 능력을 이진 분류 레이블을 넘어서 어떻게 향상시킬 수 있는가?
• RQ2 특징 간 상호의존성이 있는 상황에서 맞춤형 어텐션 메커니즘이 악성 소프트웨어 분류에서 가장 영향력 있는 특징을 얼마나 정확하게 식별할 수 있는가?
• RQ3 생성된 악성 행동에 대한 자연어 설명이 보안 분석가에게 정확하고 의미 있는가?
• RQ4 XMal의 해석 능력은 LIME과 Drebin과 비교해 실제 악성 행동에 대해 얼마나 정밀하고 관련성이 있는가?
• RQ5 XMal은 ML 기반 악성 소프트웨어 탐지기의 오분류 원인을 드러내어 모델의 투명성과 강건성을 향상시킬 수 있는가?

주요 결과

• XMal은 최신 기술 수준의 모델과 비교해 높은 탐지 정확도를 달성하면서도 동시에 악성 행동에 대한 해석 가능한 설명을 제공한다.
• XMal의 어텐션 메커니즘은 기능 간 의존성을 효과적으로 포착하며, LIME가 국소 선형 근사를 사용해 상관관계를 모델링하지 못하는 데 비해 뛰어난 성능을 보인다.
• 인간 평가 결과, XMal이 생성한 자연어 설명은 LIME과 Drebin의 설명보다 더 정확하고 의미적으로 더 풍부한 것으로 확인되었다.
• XMal은 무단 데이터 유출, SMS 스팸, 권한 상승과 같은 핵심 악성 행동을 높은 정확도로 식별하고, 실제 악성 행동 의미와 높은 일치도를 보였다.
• 모델가 잘못된 분류를 유도하는 오해의 소재가 되거나 악성 공격에 의해 변형된 특징을 강조함으로써 오분류 원인을 드러내어 강건성 분석 능력 향상을 입증했다.
• 어텐션 가중치와 알려진 악성 행동 패tern 간의 깊이 있는 분석을 통해 XMal의 설명 정밀도가 정량적으로 뛰어나다는 것이 입증되었다.