[論文レビュー] Graph4Code: A Machine Interpretable Knowledge Graph for Code

Ibrahim Abdelaziz, Julian Dolby+2 more|arXiv (Cornell University)|Feb 21, 2020

Software Engineering Research参考文献 30被引用数 10

ひとこと要約

Graph4Code は、130万件のGitHubファイル、2,300のモジュール、4,700万件のフォーラム投稿から得られた静的解析とドキュメントを用いて、RDFの名前付きグラフを用いて関数、クラス、メソッドの関係を表現することで構築された大規模で機械可読可能なPythonコードの知識グラフである。20億を超える三元組を含み、コード検索、デバッグ、型推論、ベストプラクティスの適用などの応用を可能にする。

ABSTRACT

Knowledge graphs have proven extremely useful in powering diverse applications in semantic search and natural language understanding. Graph4Code is a knowledge graph about program code that can similarly power diverse applications such as program search, code understanding, refactoring, bug detection, and code automation. The graph uses generic techniques to capture the semantics of Python code: the key nodes in the graph are classes, functions and methods in popular Python modules. Edges indicate function usage (e.g., how data flows through function calls, as derived from program analysis of real code), and documentation about functions (e.g., code documentation, usage documentation, or forum discussions such as StackOverflow). We make extensive use of named graphs in RDF to make the knowledge graph extensible by the community. We describe a set of generic extraction techniques that we applied to over 1.3M Python files drawn from GitHub, over 2,300 Python modules, as well as 47M forum posts to generate a graph with over 2 billion triples. We also provide a number of initial use cases of the knowledge graph in code assistance, enforcing best practices, debugging and type inference. The graph and all its artifacts are available to the community for use.

研究の動機と目的

• 構文を超えた意味的関係を捉えることのできるスケーラブルで拡張可能なPythonコードの知識グラフの構築。
• ソースコード、ドキュメント、コミュニティフォーラムといった多様なデータソースを統合し、RDFベースの知識グラフとして統一的に表現すること。
• 機械可読の意味論を活用して、プログラム理解、リファクタリング、バグ検出、コード自動化といった実用的応用を可能にすること。
• 継続的な寄稿と進化を可能にするために、RDFの名前付きグラフを用いたコミュニティ拡張性を支援すること。
• 型推論やベストプラクティスの適用といった実世界のコード支援タスクにおけるグラフの実用性を示すこと。

提案手法

• 静的プログラム解析を用いて130万件のPythonファイルから関数、クラス、メソッドを抽出し、構造的および制御フロー関係を特定する。
• 実コードからの関数使用パターンのマイニングにより、データフローと呼び出し依存関係を知識グラフのエッジとしてモデル化する。
• テキストドキュメント、docstrings、フォーラムディスカッション（例：Stack Overflow）を統合し、関数の説明を豊かにする意味的エッジとして扱う。
• 名前付きグラフを用いてRDFで知識グラフを表現することで、モジュラーで拡張可能かつコミュニティ拡張可能な知識表現を実現する。
• 多様なデータソースを一貫して処理できる汎用的かつ再利用可能な抽出パイプラインを適用する。
• 異種のデータソースから20億を超えるRDF三元組を含む知識グラフを生成するためのスケーリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 多様で現実世界のデータソースから、大規模で機械可読可能なPythonコードの知識グラフをどのように構築できるか。
• RQ2 プログラム解析とドキュメント・フォーラムの自然言語処理を組み合わせることで、コードの意味的モデル化はどの程度向上するか。
• RQ3 このような知識グラフは、デバッグや型推論といった実用的ソフトウェア工学タスクを効果的に支援できるか。
• RQ4 構造的かつスケーラブルな知識グラフにおいて、コミュニティ拡張性はどのように達成できるか。
• RQ5 ソースコード、ドキュメント、フォーラムといった複数のデータソースを統合することで、コード意味論表現の質と実用性はどの程度向上するか。

主な発見

• Graph4Code 知識グラフは、130万件のPythonファイル、2,300のモジュール、4,700万件のフォーラム投稿から得られた20億を超えるRDF三元組を含む。
• プログラム解析とフォーラムおよびドキュメントからの自然言語データの統合により、関数表現の意味的豊かさが顕著に向上した。
• グラフは意味的推論を活用して、効果的なコード検索と型推論、デバッグといった自動化タスクを支援できる。
• RDFにおける名前付きグラフの使用により、モジュラーでコミュニティ拡張可能な知識キュレーションと長期的な保守性が実現された。
• 初期のユースケースでは、グラフがコーディングベストプラクティスの遵守を支援し、アンチパターンやコードスモールの特定を通じてリファクタリングを支援できることを示した。
• 知識グラフは公開されており、研究コミュニティおよび開発者コミュニティによる再利用と拡張が可能である。