[论文解读] Neural Code Search Revisited: Enhancing Code Snippet Retrieval through Natural Language Intent

Geert Heyman, Tom Van Cutsem|arXiv (Cornell University)|Aug 27, 2020

Topic Modeling参考文献 27被引用 15

一句话总结

本文提出了一种名为注释代码搜索的任务，该任务通过自然语言查询检索与代码片段意图相对应的自然语言描述。通过微调通用句子编码器并将其与神经代码搜索模型结合，作者在代码仅检索基线模型上实现了显著提升——在召回率@10上最高提升26.4%，证明了描述能显著提高代码搜索的相关性。

ABSTRACT

In this work, we propose and study annotated code search: the retrieval of code snippets paired with brief descriptions of their intent using natural language queries. On three benchmark datasets, we investigate how code retrieval systems can be improved by leveraging descriptions to better capture the intents of code snippets. Building on recent progress in transfer learning and natural language processing, we create a domain-specific retrieval model for code annotated with a natural language description. We find that our model yields significantly more relevant search results (with absolute gains up to 20.6% in mean reciprocal rank) compared to state-of-the-art code retrieval methods that do not use descriptions but attempt to compute the intent of snippets solely from unannotated code.

研究动机与目标

• 为解决当未标注代码难以解释时（由于关键词重叠低且模式稀疏）检索相关代码片段的挑战。
• 探究与仅依赖源代码的模型相比，代码意图的自然语言描述是否能显著提升检索性能。
• 创建三个新的注释代码片段数据集，包含与自然语言查询配对的代码片段，用于代码搜索评估。
• 开发并评估一种联合使用代码标记和代码描述的检索模型，以提升与自然语言查询的语义匹配度。

提出的方法

• 作者通过从 Stack Overflow、GitHub 和官方文档中收集带有意图描述的代码片段，构建了三个基准数据集，确保每个查询都与相关代码片段相关联。
• 他们在代码-描述对上对通用句子编码器（USE）进行微调，以学习将代码意图与自然语言查询对齐的语义表示。
• 提出一种混合模型，将微调后的 USE 用于描述编码，同时结合神经代码搜索模型用于代码标记编码，实现联合相似度计算。
• 通过将查询嵌入与代码-描述嵌入拼接并投影到共享向量空间，计算查询与代码片段之间的语义相似度。
• 检索系统基于查询嵌入与组合后的代码-描述嵌入之间的余弦相似度对代码片段进行排序。
• 在所有三个基准数据集上，使用标准信息检索指标（包括平均倒数排名（MRR）、召回率@3 和召回率@10）对方法进行评估。

实验结果

研究问题

• RQ1 与仅使用代码的检索模型相比，引入代码意图的自然语言描述是否能显著提高检索到的代码片段的相关性？
• RQ2 微调后的通用句子编码器在建模自然语言查询与代码描述之间语义相似度方面有多有效？
• RQ3 当与源代码表示结合时，代码描述在多大程度上提升了检索性能？
• RQ4 所提出的模型是否能在来自不同来源（如 Stack Overflow、GitHub 和文档）的多样化代码片段集合上实现泛化？

主要发现

• 与最先进仅使用代码的检索模型相比，所提出的模型在平均倒数排名（MRR）上绝对提升最高达20.6%，在召回率@3上提升23.9%，在召回率@10上提升26.4%。
• 即使在同时使用源代码的情况下，引入代码描述也能显著提升搜索结果的相关性，证明了意图描述的关键作用。
• 在代码-描述对上微调通用句子编码器可带来显著的性能提升，优于经典和神经基线模型。
• 在所有三个基准数据集上，仅使用代码的模型与使用描述的模型之间的性能差距保持一致，表明其在多样化代码来源上的鲁棒性。
• 作者发布了所有模型和数据集，以支持可复现性及未来在注释代码搜索领域的研究。