[论文解读] Literature review on vulnerability detection using NLP technology

Jiajie Wu|arXiv (Cornell University)|Apr 23, 2021

Software Engineering Research参考文献 97被引用 9

一句话总结

本篇文献综述综合了近年来自然语言处理（NLP）在自动化软件漏洞检测中的进展，重点关注CodeBERT、GraphCodeBERT和PLBART等预训练模型。研究表明，将这些模型微调用于代码特定任务可显著提升漏洞检测的准确性，其中CodeBERT在不安全代码检测任务中达到65.3%的准确率，凸显了NLP技术在代码智能与漏洞分析中的有效性。

ABSTRACT

Vulnerability detection has always been the most important task in the field of software security. With the development of technology, in the face of massive source code, automated analysis and detection of vulnerabilities has become a current research hotspot. For special text files such as source code, using some of the hottest NLP technologies to build models and realize the automatic analysis and detection of source code has become one of the most anticipated studies in the field of vulnerability detection. This article does a brief survey of some recent new documents and technologies, such as CodeBERT, and summarizes the previous technologies.

研究动机与目标

• 调查基于NLP的自动化源代码漏洞检测的最新方法。
• 分析CodeBERT和GraphCodeBERT等预训练模型在提升代码理解与漏洞识别方面的作用。
• 评估迁移学习与多模态预训练对漏洞检测性能的影响。
• 识别将NLP应用于软件安全任务时面临的关键挑战与研究空白。
• 全面概述最先进的技术与基准（如CodeXGLUE）在代码智能与漏洞检测中的应用。

提出的方法

• 系统性回顾近期关于NLP在漏洞检测中应用的文献，重点关注深度学习与预训练模型。
• 将NLP技术分类为基础模型（CNN、RNN）与现代注意力机制模型（Transformer、BERT、GPT），用于代码处理。
• 分析CodeBERT等模型所采用的预训练与微调框架，其在代码与自然语言对上使用掩码语言建模（MLM）与被替换标记检测（RTD）。
• 使用CodeXGLUE等基准评估模型在下游任务（如代码分类、缺陷检测、代码摘要）中的性能表现。
• 对比不同模型架构在代码智能任务中的表现，包括CodeBERT（双模态）、GraphCodeBERT（结构感知）与PLBART（抗噪去噪）的性能。
• 利用t-SNE可视化技术评估模型学习嵌入表示中，有漏洞与无漏洞代码样本的特征分离程度。

实验结果

研究问题

• RQ1 像CodeBERT这样的预训练NLP模型如何提升源代码中自动化漏洞检测的准确性？
• RQ2 标准代码模型与引入代码结构信息的增强变体（如GraphCodeBERT）在性能上存在哪些关键差异？
• RQ3 从大规模代码与自然语言数据中进行迁移学习，在低资源漏洞数据集上的检测性能提升程度如何？
• RQ4 不同的预训练目标（如MLM、RTD、去噪）如何影响模型检测漏洞的能力？
• RQ5 CodeXGLUE等基准在标准化与推进代码智能与漏洞检测研究方面发挥着何种作用？

主要发现

• 将NLP技术整合到软件安全领域，显著推动了自动化漏洞检测的发展，尤其体现在预训练模型的应用上。
• CodeBERT在不安全代码检测任务中达到65.3%的准确率，相较于先前方法（62.08%）有显著提升。
• GraphCodeBERT通过在预训练阶段引入数据流与控制流结构，在四项下游代码智能任务中表现优于CodeBERT。
• 采用多种噪声策略（掩码、删除、填充）进行去噪自编码的PLBART等模型，在代码摘要、生成与分类任务中展现出强大的泛化能力。
• 多模态预训练（自然语言与代码）可增强模型对与漏洞相关的语义与语法模式的理解。
• t-SNE可视化结果表明，模型学习到的表示能有效分离有漏洞与无漏洞的代码样本，证明了模型具备强大的判别能力。