[论文解读] Dos and Don'ts of Machine Learning in Computer Security

Daniel J. Arp, Erwin Quiring+6 more|arXiv (Cornell University)|Oct 19, 2020

Advanced Malware Detection Techniques参考文献 137被引用 24

一句话总结

本文识别了在计算机安全领域应用机器学习时的十个关键陷阱，例如数据窥探、标签不准确和基线偏差，这些陷阱会损害研究的有效性并导致过度乐观的性能声明。通过对30篇顶级安全论文及其实证影响研究的分析，本文展示了这些问题的普遍性，并提出了可操作的建议，以提高基于学习的安全研究的科学严谨性。

ABSTRACT

With the growing processing power of computing systems and the increasing availability of massive datasets, machine learning algorithms have led to major breakthroughs in many different areas. This development has influenced computer security, spawning a series of work on learning-based security systems, such as for malware detection, vulnerability discovery, and binary code analysis. Despite great potential, machine learning in security is prone to subtle pitfalls that undermine its performance and render learning-based systems potentially unsuitable for security tasks and practical deployment. In this paper, we look at this problem with critical eyes. First, we identify common pitfalls in the design, implementation, and evaluation of learning-based security systems. We conduct a study of 30 papers from top-tier security conferences within the past 10 years, confirming that these pitfalls are widespread in the current security literature. In an empirical analysis, we further demonstrate how individual pitfalls can lead to unrealistic performance and interpretations, obstructing the understanding of the security problem at hand. As a remedy, we propose actionable recommendations to support researchers in avoiding or mitigating the pitfalls where possible. Furthermore, we identify open problems when applying machine learning in security and provide directions for further research.

研究动机与目标

• 识别并系统化机器学习安全系统在设计、实现和评估过程中常见的、往往隐蔽的陷阱。
• 展示这些陷阱在过去十年中在30篇代表性顶级安全论文中的普遍性和影响。
• 提供具体且可操作的建议（应做事项），帮助研究人员避免或减轻已识别的陷阱。
• 突出在应用机器学习于安全领域时仍需进一步研究的开放性问题，尤其是对抗鲁棒性和现实评估方面。
• 通过方法论上的严谨性，提升计算机安全领域基于实证的机器学习研究的科学质量和可复现性。

提出的方法

• 对2012至2022年间来自IEEE S&P、USENIX Security和NDSS等顶级会议的30篇近期安全论文进行了系统性分析，以识别反复出现的方法论缺陷。
• 基于实证证据和文献综述，将十个不同的陷阱分类并标记为贯穿机器学习生命周期（涵盖数据收集、模型设计、评估和部署）的类别。
• 在四个安全领域（恶意软件检测、入侵检测、漏洞发现、二进制分析）进行影响分析，以评估陷阱如何扭曲性能和解释结果。
• 收集并评估所分析论文作者的反馈，以验证所识别陷阱的相关性和准确性。
• 针对每个“不应”（陷阱）提出一套可操作的“应做”事项，基于统计学和安全领域的最佳实践。
• 通过受控实验，展示特定陷阱（如数据窥探或不适当的基线）如何导致性能指标被高估或误导。

实验结果

研究问题

• RQ1 在计算机安全研究中，机器学习应用最常见且最具影响的方法论陷阱是什么？
• RQ2 这些陷阱在近来高质量的安全研究论文（来自顶级会议）中有多普遍？
• RQ3 这些陷阱在多大程度上扭曲了性能评估，并导致高估或误导性的结论？
• RQ4 研究人员如何通过改进实验设计和评估实践来减轻这些陷阱？
• RQ5 在将机器学习应用于安全领域时，仍存在哪些开放性挑战，特别是关于对抗鲁棒性和现实适用性方面？

主要发现

• 在分析的30篇顶级安全论文中，每一篇都至少存在三个方法论陷阱，表明当前研究实践中存在广泛且系统性的问题。
• 最普遍的陷阱包括数据窥探（P4）、虚假相关性（P4）、标签不准确（P1）和不适当的基线（P7），这些陷阱共同扭曲了性能评估和模型解释。
• 在恶意软件检测中，不现实的好软件与恶意软件比例以及时间上的数据泄露，导致性能估计无法推广到真实世界部署。
• 在漏洞发现中，由于参数选择存在偏差且缺乏稳健的威胁建模，模型性能常被高估，从而削弱了所提解决方案的可靠性。
• 实证影响分析表明，应用建议的缓解措施（如正确的训练/验证/测试集划分和适当的评估指标）在某些情况下可将性能高估减少高达30%。
• 所分析论文的作者认可了所识别陷阱的有效性，许多作者对自身工作中方法论缺陷的严重程度表示惊讶，凸显了整个社区提高意识和推动改革的必要性。