[논문 리뷰] Back to the Future: Malware Detection with Temporally Consistent Labels.

Brad Miller, Alex Kantchelian외 10명|arXiv (Cornell University)|2015. 10. 26.

Advanced Malware Detection Techniques참고 문헌 23인용 수 3

한 줄 요약

이 논문은 악성코드 검출에서 시간적으로 일관된 레이블을 도입하여, 훈련 레이블이 평가 대상 바이너리보다 이전이 되도록 보장함으로써 미래 지식 유출을 방지한다. 기계학습 검출기와 전문가 질의 선택을 조합함으로써, 하루 80건의 전문가 질의로 0.5%의 거짓 경고율에서 89%의 검출률을 달성하며 기준 모델을 능가하며 이전에 간과된 악성코드의 42%를 검출한다.

ABSTRACT

The malware detection arms race involves constant change: malware changes to evade detection and labels change as detection mechanisms react. Recognizing that malware changes over time, prior work has enforced temporally consistent samples by requiring that training binaries predate evaluation binaries. We present temporally consistent labels, requiring that training labels also predate evaluation binaries since training labels collected after evaluation binaries constitute label knowledge from the future. Using a dataset containing 1.1 million binaries from over 2.5 years, we show that enforcing temporal label consistency decreases detection from 91% to 72% at a 0.5% false positive rate compared to temporal samples alone. The impact of temporal labeling demonstrates the potential of improved labels to increase detection results. Hence, we present a detector capable of selecting binaries for submission to an expert labeler for review. At a 0.5% false positive rate, our detector achieves a 72% true positive rate without an expert, which increases to 77% and 89% with 10 and 80 expert queries daily, respectively. Additionally, we detect 42% of malicious binaries initially undetected by all 32 antivirus vendors from VirusTotal used in our evaluation. For evaluation at scale, we simulate the human expert labeler and show that our approach is robust against expert labeling errors. Our novel contributions include a scalable malware detector integrating manual review with machine learning and the examination of temporal label consistency.

연구 동기 및 목표

• 레이블 유출 문제를 시간적 일관성 있는 레이블을 적용하여 해결하기 위해.
• 훈련 레이블이 미래 지식을 포함하지 않도록 보장하여 검출 성능을 향상시키기 위해.
• 선택된 바이너리를 전문가 검토에 제출함으로써 레이블링 효율성을 높이기 위한 확장 가능한 검출기를 개발하기 위해.
• 인간 전문가의 레이블링 오류에 대한 저항력을 평가하기 위해.
• 개선된 레이블 품질이 검출 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 훈련 레이블이 평가 바이너리보다 이전이 되도록 보장함으로써 시간적 일관성을 확보하여 미래 지식 유출을 방지한다.
• 불확실성과 잠재적 영향을 기반으로 기계학습 검출기가 전문가 레이블러에게 제출할 바이너리를 선택하는 시스템을 개발한다.
• 레이블링 오류에 대한 저항력을 평가하기 위해 인간 전문가 레이블링을 시뮬레이션한다.
• 2.5년 동안 수집한 110만 개의 바이너리 데이터셋을 활용해 시스템을 훈련하고 평가한다.
• 검출 성능 향상에 가장 기여할 가능성이 높은 바이너리를 우선순위 정렬하기 위해 임계값 기반 선택 전략을 적용한다.
• 반복적으로 전문가 피드백을 모델에 통합하여 시간이 지남에 따라 검출 성능을 개선한다.

실험 결과

연구 질문

• RQ1 시간적 일관성 있는 레이블을 적용할 경우, 시간적 샘플 일관성만 적용한 경우와 비교해 악성코드 검출 성능에 어떤 영향을 미치는가?
• RQ2 기계학습과 전문가 레이블링을 융합한 시스템이 순수 자동화된 모델을 뛰어넘어 검출률을 향상시킬 수 있는가?
• RQ3 실제 레이블링 환경에서 전문가 질의 빈도가 검출 성능에 어떤 영향을 미치는가?
• RQ4 본 연구에서 제안하는 접근법은 인간 전문가의 레이블링 오류에 얼마나 견고한가?
• RQ5 시스템은 기존 악성코드 방어 솔루션을 회피하는 악성코드를 어느 정도 검출할 수 있는가?

주요 결과

• 시간적 레이블 일관성을 강제 적용할 경우, 시간적 샘플 일관성만 적용한 경우와 비교해 0.5%의 거짓 경고율에서 검출률이 91%에서 72%로 감소함을 확인하여, 레이블 유출이 악영향을 미친다는 점을 입증한다.
• 제안된 검출기는 전문가 레이블링 없이도 0.5%의 거짓 경고율에서 72%의 참 양성률을 달성하며, 하루 10건의 전문가 질의로 이는 77%로 향상된다.
• 하루 80건의 전문가 질의로 시스템은 참 양성률이 77%에서 89%로 상승하여 0.5%의 거짓 경고율에서 높은 검출률을 달성한다.
• 시스템은 VirusTotal의 32개 악성코드 방어 업체가 모두 처음에 감지하지 못한 악성코드의 42%를 검출한다.
• 전문가 행동을 시뮬레이션한 결과, 레이블링 오류에 대해서도 시스템이 견고함을 입증하여 실제 환경에서의 실용성을 입증한다.
• 시간적 일관성과 전문가 검토를 통해 향상된 레이블 품질이 검출 결과에 크게 기여한다는 점을 확인한다.