[论文解读] AIBugHunter: A Practical Tool for Predicting, Classifying and Repairing Software Vulnerabilities

Michael C. Fu, Chakkrit Tantithamthavorn+5 more|arXiv (Cornell University)|May 26, 2023

Software Engineering Research被引用 7

一句话总结

AIBugHunter 是一个集成于 Visual Studio Code 的基于机器学习的工具，可实现实时检测、分类、严重性估计以及 C/C++ 软件漏洞的修复建议。它结合了一种新颖的多目标优化方法用于漏洞分类，以及一种基于 Transformer 的模型用于严重性估计，实现了最先进水平的准确率，并在用户研究中展现出强劲的开发者采用趋势。

ABSTRACT

Many ML-based approaches have been proposed to automatically detect, localize, and repair software vulnerabilities. While ML-based methods are more effective than program analysis-based vulnerability analysis tools, few have been integrated into modern IDEs, hindering practical adoption. To bridge this critical gap, we propose AIBugHunter, a novel ML-based software vulnerability analysis tool for C/C++ languages that is integrated into Visual Studio Code. AIBugHunter helps software developers to achieve real-time vulnerability detection, explanation, and repairs during programming. In particular, AIBugHunter scans through developers' source code to (1) locate vulnerabilities, (2) identify vulnerability types, (3) estimate vulnerability severity, and (4) suggest vulnerability repairs. In this article, we propose a novel multi-objective optimization (MOO)-based vulnerability classification approach and a transformer-based estimation approach to help AIBugHunter accurately identify vulnerability types and estimate severity. Our empirical experiments on a large dataset consisting of 188K+ C/C++ functions confirm that our proposed approaches are more accurate than other state-of-the-art baseline methods for vulnerability classification and estimation. Furthermore, we conduct qualitative evaluations including a survey study and a user study to obtain software practitioners' perceptions of our AIBugHunter tool and assess the impact that AIBugHunter may have on developers' productivity in security aspects. Our survey study shows that our AIBugHunter is perceived as useful where 90% of the participants consider adopting our AIBugHunter. Last but not least, our user study shows that our AIBugHunter could possibly enhance developers' productivity in combating cybersecurity issues during software development.

研究动机与目标

• 弥合基于机器学习的漏洞检测工具与现代 IDE（如 Visual Studio Code）实际应用之间的差距。
• 在软件开发过程中实现实时、IDE 内部的安全分析，以支持左移安全实践。
• 通过提供可操作且可解释的漏洞洞察（包括修复建议）来提升开发者生产力。
• 通过为分类、严重性和修复提供解释，解决漏洞预测中可解释性 AI 的缺乏问题。
• 通过调查和用户研究评估从业者对工具的感知及其在现实世界中的影响。

提出的方法

• 集成 LineVul 以利用代码序列上的深度学习技术，实现精确的行级漏洞定位。
• 采用多目标优化（MOO）框架，联合优化多个漏洞分类任务，在训练过程中平衡相互冲突的目标。
• 采用基于 Transformer 的架构，利用上下文代码表示来估计漏洞的严重性。
• 应用模型无关的可解释性技术（如 LIME），为预测、分类和修复建议提供可解释的说明。
• 作为 VS Code 扩展进行部署，实现在编码过程中的实时静态分析。
• 结合大规模数据集（188K+ 个 C/C++ 函数）中的历史漏洞数据，用于模型的训练与验证。

实验结果

研究问题

• RQ1 基于机器学习的漏洞分析工具能否有效集成到主流 IDE（如 Visual Studio Code）中，以支持实时安全反馈？
• RQ2 与现有最先进方法相比，多目标优化方法在漏洞分类上的准确性如何？
• RQ3 基于 Transformer 的模型在多大程度上提升了软件漏洞严重性估计的准确性？
• RQ4 软件开发人员在日常开发工作流中如何看待 AI 驱动的漏洞助手的实用性和易用性？
• RQ5 AIBugHunter 在多大程度上能够减少开发者用于安全分析的时间并提升生产力？

主要发现

• AIBugHunter 在漏洞分类方面达到了最先进水平的性能，在 top-1 预测排名中正确识别了 79% 的 CWE-119 缓冲区错误。
• 多目标优化方法在同时分类多种漏洞类型方面优于单任务基线模型，展现出在相互冲突目标之间更优的泛化能力。
• 基于 Transformer 的严重性估计模型在包含 188K+ 函数的大规模 C/C++ 数据集上，准确率高于基线方法。
• 在对 21 名开发者的调查中，90% 表示有意在开发工作流中采用 AIBugHunter，表明其具有强烈的实用感知价值。
• 用户研究显示，AIBugHunter 能够减少开发者用于安全分析的时间，提升识别和修复漏洞的生产力。
• 该工具现已在 Visual Studio Code 市场公开上线，训练数据和代码已发布于 GitHub，以确保可复现性。