[论文解读] deGraphCS: Embedding Variable-based Flow Graph for Neural Code Search

Chen Zeng, Yue Yu+7 more|arXiv (Cornell University)|Mar 24, 2021

Software Engineering Research被引用 15

一句话总结

deGraphCS 提出了一种基于变量的流图表示方法，该方法源自 LLVM 中间表示（IR），通过数据流和控制流捕捉代码中的深层语义依赖关系，从而提升神经代码搜索性能。通过优化图结构以去除冗余信息，并采用注意力门控图神经网络，deGraphCS 实现了最先进性能，在大规模 C 语言数据集上的 top-1 击中率从 34.05% 提升至 43.05%。

ABSTRACT

With the rapid increase in the amount of public code repositories, developers maintain a great desire to retrieve precise code snippets by using natural language. Despite existing deep learning based approaches(e.g., DeepCS and MMAN) have provided the end-to-end solutions (i.e., accepts natural language as queries and shows related code fragments retrieved directly from code corpus), the accuracy of code search in the large-scale repositories is still limited by the code representation (e.g., AST) and modeling (e.g., directly fusing the features in the attention stage). In this paper, we propose a novel learnable deep Graph for Code Search (calleddeGraphCS), to transfer source code into variable-based flow graphs based on the intermediate representation technique, which can model code semantics more precisely compared to process the code as text directly or use the syntactic tree representation. Furthermore, we propose a well-designed graph optimization mechanism to refine the code representation, and apply an improved gated graph neural network to model variable-based flow graphs. To evaluate the effectiveness of deGraphCS, we collect a large-scale dataset from GitHub containing 41,152 code snippets written in C language, and reproduce several typical deep code search methods for comparison. Besides, we design a qualitative user study to verify the practical value of our approach. The experimental results have shown that deGraphCS can achieve state-of-the-art performances, and accurately retrieve code snippets satisfying the needs of the users.

研究动机与目标

• 为解决现有代码搜索方法依赖语法结构（如 AST 或纯文本）而无法捕捉代码深层语义关系的局限性。
• 通过在变量级别建模数据流和控制流，改进代码表示，实现与自然语言查询的更细粒度语义对齐。
• 设计一种图优化机制，在不改变代码语义的前提下，从 LLVM IR 中去除冗余信息，提升模型效率与准确性。
• 将多种语义特征——标记、变量级数据流与控制流——整合为统一的可学习图表示，用于联合代码-查询嵌入。
• 通过自动基准测试与真实代码搜索场景下的定性用户研究，评估所提方法的有效性。

提出的方法

• 从 LLVM IR 构建基于变量的流图，其中节点表示代码标记，边表示变量之间的数据依赖与控制依赖。
• 应用图优化机制，消除流图中的冗余节点与边，保持语义等价性的同时提升训练效率。
• 采用改进的门控图神经网络（GGNN）并引入注意力机制，从优化后的流图中学习高维、语义丰富的嵌入表示。
• 使用统一的深度学习框架，将自然语言查询与代码片段联合嵌入到共享向量空间，实现基于相似度的检索。
• 利用中间表示（IR）实现代码与查询表示之间的一致粒度，相较于基于标记或语句级别的模型，实现更优的语义对齐。
• 通过对比学习目标端到端训练模型，以最大化匹配查询-代码对之间的语义相似度。

实验结果

研究问题

• RQ1 与传统的基于 AST 或标记的模型相比，从 LLVM IR 衍生的基于变量的流图表示是否能提升代码搜索性能？
• RQ2 所提出的图优化机制是否能有效减少噪声并提升模型效率，同时不改变代码语义？
• RQ3 通过统一图模型整合多种语义特征（标记、数据流、控制流）在多大程度上提升了代码搜索的准确性？
• RQ4 与最先进基线方法（如 DeepCS、UNIF 和 MMAN）相比，deGraphCS 在真实世界代码搜索场景中的表现如何？
• RQ5 所提方法是否能泛化到其他编程语言及其他软件工程任务（如代码翻译与 API 推荐）？

主要发现

• deGraphCS 在大规模 C 语言数据集上实现了 43.05% 的 top-1 击中率，显著优于此前最先进方法（34.05%）。
• 在自动评估与人工用户研究中，该模型均优于 DeepCS、UNIF 和 MMAN，证明其在真实搜索场景中具备更优的检索准确性。
• 图优化机制有效减少了流图中的冗余信息，从而实现更快的训练速度与更好的模型泛化能力。
• 注意力门控图神经网络成功捕捉了基于变量的流图中的关键语义依赖，实现了精确的代码表示。
• 用户研究证实，deGraphCS 比竞争方法检索到更多相关代码片段，验证了其在真实开发工作流中的实际效用。
• 该模型展现出强大的泛化潜力，未来工作计划将其扩展至 Python、Java 等语言，以及代码翻译、API 推荐等其他软件工程任务。