[논문 리뷰] Android Malware Clustering using Community Detection on Android Packages Similarity Network

ElMouatez Billah Karbab, Mourad Debbabi외 2명|arXiv (Cornell University)|2020. 05. 12.

Advanced Malware Detection Techniques참고 문헌 82인용 수 4

한 줄 요약

이 논문은 APK 기능에서 유사성 네트워크를 구축하고 커뮤니티 탐지 기법을 적용하여 악성 커뮤니티를 식별하는 확장성 있고 비지도 학습 기반의 프레임워크인 Cypider를 제안한다. 이 프레임워크는 악성 커뮤니티 탐지에 대해 60–80%의 커버리지와 85–99%의 정밀도를 달성하며, 커뮤니티 지문은 악성 코드 패밀리와 정상 앱을 식별하는 데 86–94%의 정확도를 보인다.

ABSTRACT

The daily amount of Android malicious applications (apps) targeting the app repositories is increasing, and their number is overwhelming the process of fingerprinting. To address this issue, we propose an enhanced Cypider framework, a set of techniques and tools aiming to perform a systematic detection of mobile malware by building a scalable and obfuscation resilient similarity network infrastructure of malicious apps. Our approach is based on our proposed concept, namely malicious community, in which we consider malicious instances that share common features are the most likely part of the same malware family. Using this concept, we presumably assume that multiple similar Android apps with different authors are most likely to be malicious. Specifically, Cypider leverages this assumption for the detection of variants of known malware families and zero-day malicious apps. Cypider applies community detection algorithms on the similarity network, which extracts sub-graphs considered as suspicious and possibly malicious communities. Furthermore, we propose a novel fingerprinting technique, namely community fingerprint, based on a one-class machine learning model for each malicious community. Besides, we proposed an enhanced Cypider framework, which requires less memory, x650, and less time to build the similarity network, x700, compared to the original version, without affecting the fingerprinting performance of the framework. We introduce a systematic approach to locate the best threshold on different feature content vectors, which simplifies the overall detection process.

연구 동기 및 목표

• 매일 10,000개 이상의 새로운 악성 앱이 유입되면서 Android 악성 코드 분석의 확장성 문제를 해결하기 위해.
• 변형 또는 제로데이 악성 코드에 대해 실패하는 수동 분석 및 시그니처 기반 탐지에 의존도를 줄이기 위해.
• 기존에 알려진 악성 코드 변종뿐 아니라 이전에 알려지지 않은(제로데이) 악성 코드 패밀리도 자동으로 탐지할 수 있도록 하기 위해.
• 탐지 정확도를 저하시키지 않은 채 대규모 데이터셋에 확장 가능한 경량이고 효율적인 프레임워크를 개발하기 위해.
• 악성 코드 패밀리 식별을 향상시키기 위해 일종의 기계학습 모델을 기반으로 한 새로운 커뮤니티 지문 기법을 도입하기 위해.

제안 방법

• 각 Android 앱을 기능 벡터로 표현하고, 어떤 기능에서도 높은 유사성을 가지는 앱 간에 연결하여 유사성 네트워크를 구축한다.
• 밀도가 높은 하위 그래프를 추출하기 위해 커뮤니티 탐지 알고리즘을 적용하며, 이를 잠재적인 악성 커뮤니티로 해석한다.
• 악성 커뮤니티의 개념을 도입한다—특히 코드나 구성 요소에서 공통점을 가지는 앱들은 동일한 악성 코드 패밀리에 속해 있을 가능성이 높다.
• 각 탐지된 커뮤니티별로 훈련된 일종의 기계학습 모델을 사용하여 효율적인 악성 코드 패밀리 식별을 위한 커뮤니티 지문을 개발한다.
• 메모리 및 시간 효율성을 최적화하여, 원래 버전 대비 유사성 네트워크 구축 시간을 약 700배 감소시키고 메모리 사용량을 약 650% 감소시켰다.
• 다양한 기능 벡터 간의 최적 유사성 임계값을 체계적으로 결정하여 탐지 정확도를 향상시키고 단순화한다.

실험 결과

연구 질문

• RQ1 Android APK의 유사성 네트워크에서 커뮤니티 탐지가 악성 앱의 클러스터, 특히 변종 및 제로데이 악성 코드를 효과적으로 식별할 수 있는가?
• RQ2 기존의 유사성 기반 악성 코드 탐지 방법과 비교해 볼 때, 제안된 Cypider 프레임워크는 효율성과 정확도에서 어떤가?
• RQ3 일종의 기계학습 모델에 기반한 커뮤니티 지문은 알려진 악성 코드 패밀리를 얼마나 잘 탐지하고, 정상 앱과 구분할 수 있는가?
• RQ4 다양한 기능 벡터 간의 최적 유사성 임계값은 무엇이며, 이를 통해 탐지 커버리지와 정밀도를 최대화할 수 있는가?
• RQ5 대규모 데이터셋(예: 110,000개 앱)에 대해 높은 성능과 낮은 자원 소비를 유지하면서도 프레임워크가 확장 가능한가?

주요 결과

• Cypider는 단일 탐지 반복에서 악성 코드 데이터셋의 60–80%를 커버리지하며, 식별된 악성 커뮤니티의 정밀도는 85–99%이다.
• 프레임워크는 원래 버전 대비 유사성 네트워크 구축 시간을 약 700배 감소시키고, 메모리 사용량을 약 650% 감소시켰지만 지문 정확도는 저하되지 않았다.
• 커뮤니티 지문은 악성 코드 패밀리 탐지에 86%의 정확도, 일반 악성 코드에 93%, 정상 앱에 94%의 정확도를 기록했다.
• 체계적인 임계값 선택 과정은 탐지의 단순화와 다양한 기능 세트 간 일관성 향상에 기여했다.
• 다양한 APK 기능을 통해 고유한 유사성 클러스터를 탐지함으로써, 재패키징 악성 코드와 제로데이 위협을 모두 성공적으로 식별했다.
• 110,000개 앱으로 구성된 데이터셋에서 평가한 결과, 커뮤니티 탐지가 약 60초 내에 완료되어 높은 확장성을 입증했다.