[논문 리뷰] Leveraging Uncertainty for Improved Static Malware Detection Under Extreme False Positive Constraints

André T. Nguyen, Edward Raff외 2명|arXiv (Cornell University)|2021. 08. 09.

Advanced Malware Detection Techniques참고 문헌 43인용 수 9

한 줄 요약

이 논문은 초저조도 억제율(FPR) 제약 조건 하에서 정적 악성코드 탐지 성능을 향상시키기 위해 모델 불확실성(앙상블 및 베이지안 방법을 통한)을 활용하는 것을 제안한다. Sophos 데이터셋에서 FPR 1e-5일 때 TPR 0.80를 달성하여 이전 방법 대비 16% 상대적 향상을 이룬다. 보정된 평가 프로토콜을 도입하여 불확실성 추정치가 모델 오류와 새로운 악성코드 패밀리 탐지에 도움이 된다는 것을 입증하였다.

ABSTRACT

The detection of malware is a critical task for the protection of computing environments. This task often requires extremely low false positive rates (FPR) of 0.01% or even lower, for which modern machine learning has no readily available tools. We introduce the first broad investigation of the use of uncertainty for malware detection across multiple datasets, models, and feature types. We show how ensembling and Bayesian treatments of machine learning methods for static malware detection allow for improved identification of model errors, uncovering of new malware families, and predictive performance under extreme false positive constraints. In particular, we improve the true positive rate (TPR) at an actual realized FPR of 1e-5 from an expected 0.69 for previous methods to 0.80 on the best performing model class on the Sophos industry scale dataset. We additionally demonstrate how previous works have used an evaluation protocol that can lead to misleading results.

연구 동기 및 목표

• 현재 기계학습 방법이 효과적인 도구를 갖추지 못한 채 생산 환경에서 매우 낮은 오진률(≤0.01%)을 달성하는 데 있어 핵심 과제를 해결한다.
• 기존 평가 프로토콜에서 널리 퍼져 있는 결함을 규명하고 수정한다. 이는 테스트 세트에서 임계값을 선택함으로써 TPR@FPR를 잘못 추정하는 방식이다.
• 불확실성 추정치를 활용해 결정 임계값을 동적으로 조정하여 극한의 FPR 제약 조건 하에서도 모델 성능을 향상시킨다.
• 외부 분포(out-of-distribution) 샘플을 나타내는 지표로 종속성 및 이종성 불확실성(epistemic and aleatoric uncertainty)을 활용해 새로운 악성코드 패밀리를 조기에 탐지할 수 있도록 한다.

제안 방법

• 각 악성코드 샘플에 대해 종속성(모델) 및 이종성(데이터) 불확실성을 추정하기 위해 앙상블 및 베이지안 신경망 기법(예: 몬테카를로 드롭아웃)을 적용한다.
• 데이터 누출을 방지하고 실제 FPR 추정치를 확보하기 위해 테스트 세트에서가 아니라 별도의 검증 세트를 사용해 목표 FPR에 맞는 최적의 분류 임계값을 결정한다.
• 불확실성 점수를 기반으로 지역적 임계값 조정 전략을 도입한다. 이는 높은 불확실성 점수를 가진 샘플을 더 엄격하게 평가하여 FPR을 낮추면서도 TPR을 높이는 데 기여한다.
• 공개 데이터셋(EMBER2018, Sophos)에서 여러 모델(LightGBM, MalConv, FFNN)을 훈련 및 평가하며 불확실성 인식 기반 추론 및 임계값 설정을 적용한다.
• 불확실성 분포와 모델 오류, 훈련 중에 보이지 않은 새로운 악성코드 패밀리 간의 상관관계를 분석하여 높은 불확실성 점수가 잘못 예측과 외부 분포 샘플을 예측할 수 있음을 검증한다.
• 높은 FPR을 방지하면서 TPR을 극대화하는 병합 점수 지표를 제안하여 엄격한 FPR 제약 조건 하에서 다양한 모델 간의 공정한 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존 연구에서 테스트 세트에서 임계값을 선택함으로써 TPR@FPR 성능이 왜곡되었는가? 올바른 평가 프로토콜은 무엇인가?
• RQ2 앙상블 및 베이지안 모델에서 유도된 불확실성 추정치가 극한의 FPR 제약 조건(예: 1e-5) 하에서 TPR 향상에 실제로 기여하는가?
• RQ3 종속성 및 이종성 불확실성은 훈련 중에 보이지 않은 모델 오류와 새로운 악성코드 패밀리와 얼마나 강하게 상관되는가?
• RQ4 실제 운영 환경에서 불확실성 기반 임계값 조정 전략이 단순 임계값 설정 전략보다 낮은 FPR을 유지하면서 TPR을 더 높일 수 있는가?

주요 결과

• 기존 평가에서 테스트 세트에서 임계값을 선택함으로써 TPR@FPR 평가가 체계적으로 잘못되었으며, 상대 오차가 최소 35% 이상인 과대평가된 TPR 결과를 초래하였다.
• 제안된 불확실성 기반 임계값 조정 방법은 Sophos 데이터셋에서 최고 성능을 보인 모델 클래스에서 실제 FPR 1e-5일 때 기준선의 TPR 0.69에서 0.80으로 향상되었다.
• 중간 정도로 다양성 있는 또는 베이지안 모델조차도 저FPR 환경에서 TPR 향상에 기여하여 비앙상블 기준선 대비 최대 11% 향상을 기록하였다.
• 종속성 및 이종성 불확실성 점수는 모델 오류와 강하게 상관되었으며, 분석가가 높은 불확실성 점수를 가진 샘플을 수동 검토 우선순위로 삼을 수 있도록 했다.
• 불확실성 분포는 알려진 악성코드 패밀리와 새로운 악성코드 패밀리 간에 명확히 구분되었으며, 새로운 패밀리에서 유래한 샘플은 유의미하게 더 높은 불확실성 점수를 보여, 새로운 위협의 조기 탐지 가능성을 입증하였다.
• 베이지안 MalConv 및 LightGBM 모델은 높은 불확실성과 새로운 악성코드 간 강한 상관관계를 보였지만, 단순한 베이지안 로지스틱 회귀 모델은 그렇지 않았다. 이는 모델 복잡도가 불확실성 표현력에 영향을 미친다는 것을 시사한다.