[论文解读] GraphSearchNet: Enhancing GNNs via Capturing Global Dependencies for Semantic Code Search

Shangqing Liu, Xiaofei Xie+4 more|arXiv (Cornell University)|Nov 4, 2021

Software Engineering Research参考文献 36被引用 4

一句话总结

GraphSearchNet 提出了一种基于图的深度学习框架，通过双向图神经网络（BiGGNN）和多头注意力机制，联合建模源代码与自然语言查询，以捕捉局部结构依赖和全局依赖，从而增强图神经网络（GNN）在语义代码搜索中的性能。该模型在 CodeSearchNet 基准测试中，针对 Java 和 Python 编程语言，实现了最先进（SOTA）的性能表现，显著优于先前的方法。

ABSTRACT

Code search aims to retrieve accurate code snippets based on a natural language query to improve software productivity and quality. With the massive amount of available programs such as (on GitHub or Stack Overflow), identifying and localizing the precise code is critical for the software developers. In addition, Deep learning has recently been widely applied to different code-related scenarios, e.g., vulnerability detection, source code summarization. However, automated deep code search is still challenging since it requires a high-level semantic mapping between code and natural language queries. Most existing deep learning-based approaches for code search rely on the sequential text i.e., feeding the program and the query as a flat sequence of tokens to learn the program semantics while the structural information is not fully considered. Furthermore, the widely adopted Graph Neural Networks (GNNs) have proved their effectiveness in learning program semantics, however, they also suffer the problem of capturing the global dependencies in the constructed graph, which limits the model learning capacity. To address these challenges, in this paper, we design a novel neural network framework, named GraphSearchNet, to enable an effective and accurate source code search by jointly learning the rich semantics of both source code and natural language queries. Specifically, we propose to construct graphs for the source code and queries with bidirectional GGNN (BiGGNN) to capture the local structural information of the source code and queries. Furthermore, we enhance BiGGNN by utilizing the multi-head attention module to supplement the global dependencies that BiGGNN missed to improve the model learning capacity. The extensive experiments on Java and Python programming language from the public benchmark CodeSearchNet confirm that GraphSearchNet outperforms current state-of-the-art works.

研究动机与目标

• 为应对‘大代码’时代中，开发者高度依赖代码复用所面临的语义代码搜索挑战。
• 克服序列模型和标准 GNN 在捕捉代码与查询中结构依赖和全局依赖方面的局限性。
• 通过联合建模图神经网络中代码与查询的表示，提升源代码与自然语言查询之间的语义映射能力。
• 通过引入多头注意力机制，增强 GNN 以恢复传统 GNN 所遗漏的全局依赖关系。

提出的方法

• 使用双向门控图神经网络（BiGGNN）构建程序图与查询图，以从代码和查询序列中学习局部结构信息。
• 通过引入多头自注意力机制，增强 BiGGNN 以捕捉图中节点之间的长距离与全局依赖关系。
• 利用增强后的图网络，将源代码与自然语言查询联合编码为统一的向量表示。
• 通过余弦相似度计算代码与查询嵌入之间的语义相似度，用于检索任务。
• 在 CodeSearchNet 数据集上，采用对比学习目标端到端训练模型，以对齐相关代码-查询对。
• 应用图构建技术，包括基于抽象语法树（AST）的边和基于标记的连接性，以保留语法与语义结构。

实验结果

研究问题

• RQ1 基于图的深度学习框架能否有效建模源代码与自然语言查询中的局部结构依赖与全局依赖关系，以支持代码搜索？
• RQ2 将多头注意力机制引入 BiGGNN 后，是否能显著提升 GNN 在代码搜索任务中的表示学习能力？
• RQ3 GraphSearchNet 在标准基准测试中，相较于现有最先进模型，其性能提升程度如何？
• RQ4 联合建模代码与查询图是否能实现优于序列模型或单模态方法的语义对齐效果？

主要发现

• GraphSearchNet 在 CodeSearchNet 基准测试中，对 Java 和 Python 编程语言均实现了最先进性能。
• 该模型在平均精度均值（mAP）和 top-k 结果的召回率方面，显著优于现有 SOTA 方法，包括 MMAN 和 Code2Seq。
• 将多头注意力机制整合到 BiGGNN 中，显著提升了对全局依赖关系的捕捉能力，尤其在长距离结构关系中表现突出。
• 消融实验结果证实，BiGGNN 和多头注意力机制两个组件均不可或缺，各自对最终性能提升均有显著贡献。
• GraphSearchNet 在不同编程语言间展现出强大的泛化能力，表明其有效性不仅限于特定编程语言的模式。