[论文解读] Improved Recognition of Security Bugs via Dual Hyperparameter Optimization.

Rui Shu, Tianpei Xia+3 more|arXiv (Cornell University)|Nov 4, 2019

Machine Learning and Data Classification被引用 6

一句话总结

本文提出 SWIFT，一种双超参数优化框架，可同时调优机器学习学习器与数据预处理方法，以提升对错误报告中罕见安全错误的检测效果。通过使用 epsilon-支配策略减少不必要的计算，SWIFT 在 Chromium 上实现 77.1% 的召回率，在 Ambari 上实现 83.9% 的召回率，同时将误报率控制在 22% 以下，显著优于先前的最先进方法（如 FARSEC）。

ABSTRACT

Background: Security bugs need to be handled by small groups of engineers before being widely discussed (otherwise the general public becomes vulnerable to hackers that exploit those bugs). But learning how to separate the security bugs from other bugs is challenging since they may occur very rarely. Data mining that can find such scarce targets required extensive tuning effort. Goal: The goal of this research is to aid practitioners as they struggle to tune methods that try to distinguish security-related bug reports in a product's bug database, through the use of a dual hyperparameter optimizer that learns good settings for both learners and for data pre-processing methods. Method: The proposed method, named SWIFT, combines learner hyperparameter optimization and pre-processor hyperparameter optimization. SWIFT uses a technique called epsilon-dominance, the main idea of which is to ignore operations that do not significantly improve the performance. As a result, the optimization effort can be efficiently reduced. Result: When compared to recent state-of-the-art results (from FARSEC which is published in TSE'18), we find that SWIFT's dual optimization of both pre-processor and learner is more useful than optimizing each of them individually. For example, in a 10-way cross-validation study looking for security bugs from the Chromium web-browser, the FARSEC and SWIFT recalls were 20.4% and 77.1%, respectively, with false alarm rates under 20%. For another example, in experiments with data from the Ambari software project, recalls improved from 30.4 to 83.9% while false alarms remained under 22%. Conclusion: Overall, our approach shows advantages in achieving better performance in a fast way than existing stat-of-the-art method. Therefore, this encourages us in solving similar problems with dual optimization in the future work.

研究动机与目标

• 解决在错误数据库中检测罕见安全错误的挑战，这些错误因出现频率低而难以识别。
• 减少传统上为优化机器学习模型与数据预处理技术而需进行的大量手动调优工作。
• 通过联合优化学习器与预处理超参数，提升安全错误检测性能。
• 利用 epsilon-支配实现更快、更高效的超参数搜索，跳过微小的性能提升。
• 证明联合优化相比单独优化学习器或预处理器，能取得更优结果。

提出的方法

• SWIFT 采用双阶段优化策略，同时调优机器学习学习器与数据预处理方法的超参数。
• 利用 epsilon-支配机制过滤掉低于预设阈值的性能提升，从而减少冗余评估，加快收敛速度。
• 框架在两个不同阶段集成超参数搜索：数据预处理（如特征工程、过滤）与模型学习（如分类器选择、正则化）。
• epsilon-支配确保仅考虑超过用户定义 epsilon 值的性能提升，使搜索聚焦于有意义的性能改进。
• 使用 Chromium 和 Ambari 的真实世界错误数据库进行 10 折交叉验证评估。
• 优化过程以召回率与误报率等性能指标为指导，重点在于最大化安全错误检测率，同时最小化误报。

实验结果

研究问题

• RQ1 与分别优化预处理和学习器超参数相比，联合优化两者是否能显著提升对罕见安全错误的检测效果？
• RQ2 使用 epsilon-支配如何影响安全错误检测中超参数搜索的效率与效果？
• RQ3 在真实世界错误数据库上，SWIFT 在召回率与误报率方面相比最先进方法（如 FARSEC）的提升程度如何？
• RQ4 该双阶段优化方法是否能在显著提升召回率的同时，保持较低的误报率，且适用于多样化的软件项目？
• RQ5 该方法在仅含少量标注安全错误报告的真实工业级错误数据库中是否具备良好的可扩展性？

主要发现

• 在 Chromium 浏览器数据集的 10 折交叉验证中，SWIFT 实现 77.1% 的召回率，远超 FARSEC 的 20.4%，且误报率控制在 20% 以下。
• 在 Ambari 软件项目中，SWIFT 将召回率从 FARSEC 的 30.4% 提升至 83.9%，误报率仍低于 22%。
• 同时优化学习器与预处理器显著优于仅优化其中任一组件。
• epsilon-支配有效减少了所需评估次数，使优化过程更快速、更高效。
• SWIFT 在不同软件项目中均表现出一致的性能提升，表明其在真实工业级错误数据库中的可泛化能力。
• 即使对于极罕见的安全错误，该方法也能实现高检测性能，而传统方法通常难以识别此类错误。