[논문 리뷰] Continuous Learning for Android Malware Detection

Yizheng Chen, Zhoujie Ding외 1명|arXiv (Cornell University)|2023. 02. 08.

Data Stream Mining Techniques인용 수 5

한 줄 요약

이 논문은 가짜 손실 기반의 불확실성 샘플링을 사용하는 계층적 대비 학습과 활성 학습을 결합한 연속 학습 프레임워크를 제안한다. 대비 임베딩을 활용해 유사성 모델링을 향상시키고, 높은 불확실성의 샘플을 선별해 레이블링함으로써, 기준 모델 대비 거짓 음성률을 14%에서 9%로 감소시키며, 7년 간 안정적인 성능을 유지한다. 이는 개념 이동 상황에서 기존 활성 학습 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Machine learning methods can detect Android malware with very high accuracy. However, these classifiers have an Achilles heel, concept drift: they rapidly become out of date and ineffective, due to the evolution of malware apps and benign apps. Our research finds that, after training an Android malware classifier on one year's worth of data, the F1 score quickly dropped from 0.99 to 0.76 after 6 months of deployment on new test samples. In this paper, we propose new methods to combat the concept drift problem of Android malware classifiers. Since machine learning technique needs to be continuously deployed, we use active learning: we select new samples for analysts to label, and then add the labeled samples to the training set to retrain the classifier. Our key idea is, similarity-based uncertainty is more robust against concept drift. Therefore, we combine contrastive learning with active learning. We propose a new hierarchical contrastive learning scheme, and a new sample selection technique to continuously train the Android malware classifier. Our evaluation shows that this leads to significant improvements, compared to previously published methods for active learning. Our approach reduces the false negative rate from 14% (for the best baseline) to 9%, while also reducing the false positive rate (from 0.86% to 0.48%). Also, our approach maintains more consistent performance across a seven-year time period than past methods.

연구 동기 및 목표

• 악성 소프트웨어와 정상 응용 프로그램의 업데이트로 인해 시간이 지남에 따라 분류기가 급격히 성능이 떨어지는 개념 이동 문제를 해결하기 위해.
• 레이블링에 가장 정보가 많은 샘플을 선택함으로써 활성 학습의 효율성을 향상시켜 인간 분석가에 대한 의존도를 줄이기 위해.
• 더 나은 유사성 모델링을 위해 계층적 대비 학습을 활용하여 점진적 및 급격한 개념 이동에 모두 강건한 모델의 강건성을 향상시키기 위해.
• 최소한의 레이블링 노력으로 장기간(예: 7년) 동안 높은 탐지 성능을 유지하기 위해.
• 실제 배포 환경에서 거짓 양성률을 최소화하면서 거짓 음성률 감소를 극대화하기 위해.

제안 방법

• 동일한 가족에 속한 악성 소프트웨어 샘플(높은 유사성), 다른 가족에 속한 샘플(약한 유사성), 정상 응용 프로그램(비유사성) 간의 유사성을 다중 수준에서 모델링하는 계층적 대비 학습 프레임워크를 제안한다.
• 대비 임베딩을 사용해 알려진 클러스터에서 멀리 떨어진 샘플을 식별함으로써 불확실성과 레이블링이 필요한 정도를 평가하는 가짜 손실 기반의 불확실성 점수 계산 방법을 도입한다.
• 고정된 레이블링 예산(예: 월 50개 샘플)을 사용해 반복적으로 새로 레이블링된 샘플을 활용해 분류기를 재학습하는 활성 학습을 적용함으로써 지속적인 적응을 가능하게 한다.
• 유사한 샘플(예: 동일한 악성 소프트웨어 가족)은 가까이 모이게 하고, 비유사한 샘플은 분리되게 하는 대비 손실 함수를 사용함으로써 분포 이동 상황에서도 일반화 능력을 향상시킨다.
• 대비 인코더와 분류기를 종합적으로 훈련함으로써, 임베딩 공간에서 직접 불확실성 추정치를 도출할 수 있도록 한다.
• 7년 간의 안드로이드 앱 데이터셋을 기반으로 제안된 방법을 검증하였으며, 개념 이동 상황에서 최신 기준 기반의 성능을 비교 분석하였다.

실험 결과

연구 질문

• RQ1 심한 클래스 불균형 조건에서 계층적 대비 학습이 새로운 악성 소프트웨어 가족 탐지에 도움이 될 수 있는가?
• RQ2 대비 임베딩 기반의 불확실성 추정이 악성 소프트웨어 탐지의 활성 학습에서 더 나은 샘플 선택을 이끌 수 있는가?
• RQ3 기존 활성 학습 방법과 비교해 제안된 방법이 개념 이동 상황에서 장기간 배포 시 분류기 성능을 어떻게 유지하는가?
• RQ4 이 방법은 레이블링 노력에 비례해 거짓 음성률을 상당히 감소시킬 수 있는가?
• RQ5 대비 학습이 안드로이드 악성 소프트웨어 탐지에서 점진적 및 급격한 개념 이동에 모두 강건성을 향상시키는 데 얼마나 기여하는가?

주요 결과

• 제안된 방법은 7년 간의 평균 거짓 음성률을 기준 모델 대비 14%에서 9%로 감소시켜 상대적 개선률 35%를 달성한다.
• 개념 이동 사건 이후 복구된 후 F1 스코어가 약 0.94로 안정적으로 유지되며, 불확실성 샘플링을 사용하는 기준 SVM 대비 장기간의 성능 저하를 보이지 않는다.
• 6개월간의 배포 후 고정된 분류기의 F1 스코어는 0.99에서 0.76로 하락하여 연속 학습의 필수성을 명확히 드러낸다.
• 2014년 메코르 랜섬웨어 가족의 폭발적 확산 상황에서, 6월과 7월에 메코르 샘플을 선별하고 레이블링함으로써 성공적으로 회복하였으며, F1 스코어를 0.94로 복구하였다.
• 월 50개 샘플(월간 앱의 1%)의 레이블링 예산을 가진 상태에서 F1 스코어 89%를 달성하였으며, 이는 이 벤치마크에서 기존 활성 학습 방법보다 뛰어난 성능을 보였다.
• 모델은 시간이 지나도 일관된 성능을 유지하며, 특히 새로운 위협이 등장할 때 기존 방법에서 관찰된 높은 거짓 음성 피크를 피할 수 있었다.