[论文解读] Extending Detection with Forensic Information

Z. Berkay Celik, Patrick McDaniel+3 more|arXiv (Cornell University)|Mar 31, 2016

Advanced Malware Detection Techniques参考文献 47被引用 7

一句话总结

本文提出通过在训练过程中利用取证信息（即训练期间可用但推理时不可用的数据）并结合知识蒸馏、模型影响分析与知识迁移技术，来增强安全检测系统。该方法提升了检测的精确率与召回率，在人脸识别任务中检测错误率降低最高达16.9%，在恶意软件流量检测中降低8.6%。

ABSTRACT

For over a quarter century, security-relevant detection has been driven by models learned from input features collected from real or simulated environments. An artifact (e.g., network event, potential malware sample, suspicious email) is deemed malicious or non-malicious based on its similarity to the learned model at run-time. However, the training of the models has been historically limited to only those features available at run time. In this paper, we consider an alternate model construction approach that trains models using forensic information--features available at training time but not at runtime--to improve the accuracy and resilience of detection systems. In particular, we adapt and extend recent advances in knowledge transfer, model influence, and distillation to enable the use of forensic data in a range of security domains. Our empirical study shows that privileged information increases detection precision and recall over a system with no privileged information: we observe up to 7.7% relative decrease in detection error for fast-flux bot detection, 8.6% for malware traffic detection, 7.3% for malware classification, and 16.9% for face recognition. We explore the limitations and applications of different privileged information techniques in detection systems. Such techniques open the door to systems that can integrate forensic data directly into detection models, and therein provide a means to fully exploit the information available about past security-relevant events.

研究动机与目标

• 解决传统检测模型仅依赖运行时特征、忽略训练期间可用的宝贵取证信息的局限性。
• 探索特权取证信息（如详细系统日志或事后分析）如何提升检测准确率与鲁棒性。
• 开发并评估将取证信息洞察知识迁移至检测模型的技术，且无需在推理阶段访问此类数据。
• 量化不同特权信息技术在包括僵尸网络检测、恶意软件分析与生物特征识别在内的多样化安全领域中的影响。

提出的方法

• 适配知识迁移技术，在训练过程中将取证特征注入检测模型，使其能够从更丰富的历史数据中学习。
• 应用模型影响分析，识别对模型决策影响最大的训练样本（包括取证样本），从而提升模型可解释性与鲁棒性。
• 使用模型蒸馏技术，将复杂且具备取证信息的教师模型的知识迁移至更小、推理效率更高的学生模型。
• 扩展现有检测框架，在模型训练阶段整合取证特征，同时确保推理过程保持高效且可行。
• 设计统一的处理流程，使取证数据可在多种安全领域（包括网络流量分析与恶意软件分类）中被有效利用。
• 评估不同特权信息集成策略在多样化检测任务中的有效性。

实验结果

研究问题

• RQ1 在模型训练阶段引入取证信息，对安全系统检测准确率与鲁棒性有何影响？
• RQ2 在利用特权取证数据进行检测时，知识迁移、模型影响分析与蒸馏技术的相对优势为何？
• RQ3 在哪些安全领域中，特权信息能带来检测性能的最大提升？
• RQ4 不同特权信息技术在精确率、召回率与检测错误率降低方面的表现如何比较？
• RQ5 在不暴露取证数据至推理阶段的前提下，将取证数据集成至检测模型存在哪些实际限制？

主要发现

• 在快速跳变僵尸网络检测中，取证信息的整合使检测错误率降低最高达7.7%，表明检测准确率得到提升。
• 在使用特权取证数据训练后，恶意软件流量检测的检测错误率相对降低了8.6%。
• 恶意软件分类任务中检测错误率相对下降7.3%，表明模型泛化能力得到增强。
• 在人脸识别系统中，检测错误率相对降低16.9%，凸显了取证数据在生物特征识别系统中的价值。
• 所提出的技术使检测模型能够利用丰富的取证特征，而无需在推理阶段访问这些特征，从而保持了运行效率。
• 实证结果证实，特权信息显著提升了多样化安全应用场景下的精确率与召回率。