[論文レビュー] Learning Semantic Program Embeddings with Graph Interval Neural Network

Yu Wang, Fengjuan Gao+2 more|arXiv (Cornell University)|May 18, 2020

Software Engineering Research参考文献 37被引用数 4

ひとこと要約

本稿では、制御フローグラフ内の主にループ構造である区間構造に注目することで、意味的プログラム埋め込みを学習する新しいGNNアーキテクチャ、Graph Interval Neural Network (GINN) を提案する。GINNは、プログラムを階層的区間へ抽象化することで、標準GNNよりも精度とスケーラビリティを向上させ、実世界のJavaコードベースにおける変数誤用予測、メソッド名予測、ニューラルバグ検出のタスクで最先端のモデルを上回る性能を発揮する。

ABSTRACT

Learning distributed representations of source code has been a challenging task for machine learning models. Earlier works treated programs as text so that natural language methods can be readily applied. Unfortunately, such approaches do not capitalize on the rich structural information possessed by source code. Of late, Graph Neural Network (GNN) was proposed to learn embeddings of programs from their graph representations. Due to the homogeneous and expensive message-passing procedure, GNN can suffer from precision issues, especially when dealing with programs rendered into large graphs. In this paper, we present a new graph neural architecture, called Graph Interval Neural Network (GINN), to tackle the weaknesses of the existing GNN. Unlike the standard GNN, GINN generalizes from a curated graph representation obtained through an abstraction method designed to aid models to learn. In particular, GINN focuses exclusively on intervals for mining the feature representation of a program, furthermore, GINN operates on a hierarchy of intervals for scaling the learning to large graphs. We evaluate GINN for two popular downstream applications: variable misuse prediction and method name prediction. Results show in both cases GINN outperforms the state-of-the-art models by a comfortable margin. We have also created a neural bug detector based on GINN to catch null pointer deference bugs in Java code. While learning from the same 9,000 methods extracted from 64 projects, GINN-based bug detector significantly outperforms GNN-based bug detector on 13 unseen test projects. Next, we deploy our trained GINN-based bug detector and Facebook Infer to scan the codebase of 20 highly starred projects on GitHub. Through our manual inspection, we confirm 38 bugs out of 102 warnings raised by GINN-based bug detector compared to 34 bugs out of 129 warnings for Facebook Infer.

研究の動機と目的

• ソースコードから正確でスケーラブルなプログラム埋め込みを学習する標準GNNの限界を解消すること。
• 特にループを含むプログラム固有の構造的特徴を、制御フローグラフを階層的区間に抽象化することで活用すること。
• 従来のテキストベースやグラフベースのモデルよりも、意味的プログラム特徴をより効果的に捉える汎用的ディープラーニングモデルを構築すること。
• バグ検出、変数誤用予測、メソッド名予測などの下流タスクにおけるプログラム解析の性能を向上させること。
• 区間ベースの抽象化が計算コストを低減しつつ、モデルの精度を維持または向上させることの有効性を示すこと。

提案手法

• GINNは、制御フローグラフを階層的区間に抽象化する新しい抽象化手法を用いる。各区間はループ構造を表す。
• モデルは、非本質的なグラフ部品からのノイズを低減するため、区間のみに注目して深層的意味的特徴を抽出する。
• GINNは区間の階層構造を処理することで、ネストされたループ構造を抽象化し、大規模プログラムへの効率的スケーリングを実現する。
• 標準GNNのメッセージパッシングメカニズムを採用しているが、全グラフ全体ではなく、区間内および区間間でのみ適用する。
• 抽象化により、意味的に重要な部分グラフ（ループ）のみが処理されるため、学習の効率性と精度が向上する。
• 変数誤用予測、メソッド名予測、バグ検出などの下流タスク向けに、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 制御フローグラフ内の区間構造（例：ループ）に注目することで、プログラム埋め込みモデルの精度が向上するか？
• RQ2 区間の階層的抽象化は、大規模コードベースにおけるGNNのスケーラビリティをどのように向上させるか？
• RQ3 GINNは、標準GNNおよび先行の最先端モデルよりも、下流のプログラム解析タスクで優れているか？
• RQ4 GINNベースのニューラルバグ検出器は、Facebook Inferなどの既存ツールよりも実世界のバグをより効果的に検出できるか？
• RQ5 区間ベースの抽象化は、大規模グラフ全体にわたる広範なメッセージパッシングの必要性をどの程度低減できるか？

主な発見

• GINNは、変数誤用予測およびメソッド名予測の両タスクで、最先端のモデルを快適な差で上回った。
• 13の未観測テストプロジェクトにおいて、64プロジェクトから9,000件のメソッドを学習した状態で、GINNベースのバグ検出器はGNNベースの検出器よりもより多くの真陽性を検出できた。
• 20の高評価GitHubプロジェクトにおける実世界評価では、GINNは102件の警告を発出したが、そのうち38件が確認済みの実バグであった。一方、Facebook Inferは129件の警告を発出し、そのうち34件が実バグであった。
• GINNが検出した38件のバグのうち、11件は修正済み、12件は確認済み（修正保留）であり、実用的価値が明確に示された。
• 階層的区間抽象化により、GINNは標準GNNとは異なり、精度を損なうことなく大規模グラフへのスケーリングを効率的に行えるようになった。
• GINNがループ区間に注目することで、より深い意味的特徴を捉えることができ、より正確で汎用性の高いプログラム埋め込みが得られた。