[论文解读] Back to the Future: Malware Detection with Temporally Consistent Labels.

Brad Miller, Alex Kantchelian+10 more|arXiv (Cornell University)|Oct 26, 2015

Advanced Malware Detection Techniques参考文献 23被引用 3

一句话总结

本文引入了时间一致的标签用于恶意软件检测，确保训练标签在时间上早于评估样本，以防止未来知识泄露。通过结合机器学习检测器与专家查询选择，该方法在每日80次专家查询下，将检测率提升至89%，错误率仅为0.5%，优于基线模型，并检测到42%此前被遗漏的恶意软件。

ABSTRACT

The malware detection arms race involves constant change: malware changes to evade detection and labels change as detection mechanisms react. Recognizing that malware changes over time, prior work has enforced temporally consistent samples by requiring that training binaries predate evaluation binaries. We present temporally consistent labels, requiring that training labels also predate evaluation binaries since training labels collected after evaluation binaries constitute label knowledge from the future. Using a dataset containing 1.1 million binaries from over 2.5 years, we show that enforcing temporal label consistency decreases detection from 91% to 72% at a 0.5% false positive rate compared to temporal samples alone. The impact of temporal labeling demonstrates the potential of improved labels to increase detection results. Hence, we present a detector capable of selecting binaries for submission to an expert labeler for review. At a 0.5% false positive rate, our detector achieves a 72% true positive rate without an expert, which increases to 77% and 89% with 10 and 80 expert queries daily, respectively. Additionally, we detect 42% of malicious binaries initially undetected by all 32 antivirus vendors from VirusTotal used in our evaluation. For evaluation at scale, we simulate the human expert labeler and show that our approach is robust against expert labeling errors. Our novel contributions include a scalable malware detector integrating manual review with machine learning and the examination of temporal label consistency.

研究动机与目标

• 通过在标签中强制实施时间一致性，解决恶意软件检测中的标签泄露问题。
• 通过确保训练标签不包含未来知识，提升检测性能。
• 开发一种可扩展的检测器，通过选择二进制文件提交专家审核，以提高标注效率。
• 评估该方法对人工专家标注错误的鲁棒性。
• 证明通过提升标注质量可显著提高检测性能。

提出的方法

• 通过要求训练标签在时间上早于评估样本，强制实施时间一致性，防止未来知识泄露。
• 开发一种机器学习检测器，根据不确定性和潜在影响，选择二进制文件提交给专家标注者。
• 使用人工专家标注的模拟来评估对标注错误的鲁棒性。
• 采用在2.5年内收集的110万组二进制文件数据集来训练和评估系统。
• 应用基于阈值的选择策略，优先处理最可能提升检测性能的二进制文件。
• 将专家反馈迭代整合到模型中，以随时间逐步优化检测性能。

实验结果

研究问题

• RQ1 与仅依赖时间样本一致性相比，强制实施时间标签一致性对恶意软件检测性能有何影响？
• RQ2 结合机器学习与人工标注的混合系统是否能将检测率提升至超越纯自动化模型的水平？
• RQ3 在真实标注环境中，专家查询频率对检测性能有何影响？
• RQ4 所提出方法对人工专家标注错误的鲁棒性如何？
• RQ5 该系统在多大程度上能检测到可规避现有杀毒软件的恶意软件？

主要发现

• 与仅依赖时间样本一致性相比，强制实施时间标签一致性使0.5%错误率下的检测率从91%下降至72%，凸显了标签泄露的负面影响。
• 所提出的检测器在无专家标注时，0.5%错误率下的真正例率为72%，在每日10次专家查询下提升至77%。
• 每日80次专家查询下，系统真正例率提升至77%，在0.5%错误率下检测率上升至89%。
• 该系统检测到42%的恶意软件，这些样本此前被VirusTotal中全部32家杀毒厂商遗漏。
• 在模拟专家行为时，该方法对标注错误保持鲁棒，证明其在真实场景中的实际可行性。
• 本研究证实，通过时间一致性与专家审核提升标注质量，可显著改善检测结果。