[论文解读] Graph4Code: A Machine Interpretable Knowledge Graph for Code

Ibrahim Abdelaziz, Julian Dolby+2 more|arXiv (Cornell University)|Feb 21, 2020

Software Engineering Research参考文献 30被引用 10

一句话总结

Graph4Code 是一个大规模、机器可读的 Python 代码知识图谱，基于 130 万个 GitHub 文件、2,300 个模块和 4,700 万条论坛帖子构建而成，采用 RDF 和命名图技术，通过程序分析和文档信息表示函数、类和方法之间的关系。该知识图谱包含超过 20 亿个三元组，支持代码搜索、调试、类型推断和最佳实践强制等应用。

ABSTRACT

Knowledge graphs have proven extremely useful in powering diverse applications in semantic search and natural language understanding. Graph4Code is a knowledge graph about program code that can similarly power diverse applications such as program search, code understanding, refactoring, bug detection, and code automation. The graph uses generic techniques to capture the semantics of Python code: the key nodes in the graph are classes, functions and methods in popular Python modules. Edges indicate function usage (e.g., how data flows through function calls, as derived from program analysis of real code), and documentation about functions (e.g., code documentation, usage documentation, or forum discussions such as StackOverflow). We make extensive use of named graphs in RDF to make the knowledge graph extensible by the community. We describe a set of generic extraction techniques that we applied to over 1.3M Python files drawn from GitHub, over 2,300 Python modules, as well as 47M forum posts to generate a graph with over 2 billion triples. We also provide a number of initial use cases of the knowledge graph in code assistance, enforcing best practices, debugging and type inference. The graph and all its artifacts are available to the community for use.

研究动机与目标

• 构建一个可扩展、可扩展的 Python 代码知识图谱，捕捉超越语法的语义关系。
• 将源代码、文档和社区论坛等多样化数据源整合到基于 RDF 的统一知识图谱中。
• 通过机器可读的语义支持程序理解、重构、错误检测和代码自动化等实际应用。
• 利用 RDF 中的命名图支持社区扩展性，实现知识图谱的持续贡献与演进。
• 在真实世界的代码辅助任务（如类型推断和最佳实践强制）中展示该知识图谱的实用性。

提出的方法

• 通过静态程序分析从 130 万个 Python 文件中提取函数、类和方法，识别结构关系和控制流关系。
• 从真实代码中挖掘函数使用模式，将数据流和调用依赖关系建模为知识图谱中的边。
• 将文本文档、文档字符串和论坛讨论（如 Stack Overflow）作为语义边，丰富函数描述。
• 使用 RDF 和命名图表示知识图谱，支持模块化、可扩展且可由社区扩展的知识表示。
• 应用通用且可重用的提取流水线，确保在不同模块和平台间一致地处理多样化数据源。
• 将流水线扩展至生成包含超过 20 亿个 RDF 三元组的知识图谱，数据源具有异构性。

实验结果

研究问题

• RQ1 如何从多样化的真实世界数据源构建一个大规模、机器可读的 Python 代码知识图谱？
• RQ2 程序分析与对文档和论坛的自然语言处理，在多大程度上能提升代码语义建模能力？
• RQ3 此类知识图谱能否有效支持调试和类型推断等实际软件工程任务？
• RQ4 如何在结构化且可扩展的知识图谱中实现社区扩展性？
• RQ5 整合多种数据源（源代码、文档、论坛）对代码语义表示的质量和实用性有何影响？

主要发现

• Graph4Code 知识图谱包含超过 20 亿个 RDF 三元组，数据源自 130 万个 Python 文件、2,300 个模块和 4,700 万条论坛帖子。
• 将程序分析与来自论坛和文档的自然语言数据相结合，显著提升了函数表示的语义丰富度。
• 该图谱支持高效的代码搜索，并可通过语义推理有效支持类型推断和调试等自动化任务。
• RDF 中命名图的使用支持模块化、社区可扩展的知识管理，提升长期可维护性。
• 初步用例表明，该图谱可识别反模式和代码异味，有效强制执行编码最佳实践并辅助代码重构。
• 该知识图谱已公开发布，可供研究和开发社区重用与扩展。