[論文レビュー] Learning to Represent Programs with Heterogeneous Graphs

Kechi Zhang, Wenhan Wang+3 more|arXiv (Cornell University)|Dec 8, 2020

Software Engineering Research参考文献 37被引用数 9

ひとこと要約

本稿では、ソースコード内のノードおよびエッジの種類を明示的にモデル化するための異種プログラムグラフ（HPG）を提案する。HPG上で異種グラフトランスフォーマー（HGT）を活用することで、メソッド名予測およびコード分類タスクにおいてSOTAベースラインを上回る性能を発揮し、異種タイプ情報および手作業で作成されたエッジによる顕著な向上効果を示している。

ABSTRACT

Program source code contains complex structure information, which can be represented in structured data forms like trees or graphs. To acquire the structural information in source code, most existing researches use abstract syntax trees (AST). A group of works add additional edges to ASTs to convert source code into graphs and use graph neural networks to learn representations for program graphs. Although these works provide additional control or data flow information to ASTs for downstream tasks, they neglect an important aspect of structure information in AST itself: the different types of nodes and edges. In ASTs, different nodes contain different kinds of information like variables or control flow, and the relation between a node and all its children can also be different. To address the information of node and edge types, we bring the idea of heterogeneous graphs to learning on source code and present a new formula of building heterogeneous program graphs from ASTs with additional type information for nodes and edges. We use the ASDL grammar of programming language to define the node and edge types of program graphs. Then we use heterogeneous graph neural networks to learn on these graphs. We evaluate our approach on two tasks: code comment generation and method naming. Both tasks require reasoning on the semantics of complete code snippets. Experiment results show that our approach outperforms baseline models, including homogeneous graph-based models, showing that leveraging the type information of nodes and edges in program graphs can help in learning program semantics.

研究の動機と目的

• 均一グラフがノードおよびエッジの意味的種別情報を失うという制限を是正すること。
• プログラム構造におけるノードおよびエッジの種別を明示的にモデル化することで、コード表現学習を向上させること。
• 異種グラフモデリングを用いて、ソースコード内の複雑な構造的および意味的関係を捉えるフレームワークを構築すること。
• 異種タイプおよび手作業で作成されたエッジが、コード処理タスクにおけるモデル性能向上に与える影響を実証すること。

提案手法

• 抽象構文木（AST）からノードおよびエッジの種別を符号化するため、ASDL文法を用いて異種プログラムグラフ（HPG）を構築する。
• コード内の構造的および文法的順序を保持するために、NextSibおよびNextTokenといった手作業で作成されたエッジを導入する。
• 異なるノードおよびエッジ種別を跨ぐタイプに依存したメッセージ伝達を可能にするために、異種グラフトランスフォーマー（HGT）アーキテクチャを用いてHPGを処理する。
• メソッド名予測のような生成タスクを改善するために、部分トークンノードのみを対象とするデコーディング戦略をHGTに適用する。
• ノードおよびエッジ種別埋め込みを用いてHGTのアテンションメカニズムをガイドし、モデルがコード内の意味的役割を区別できるようにする。
• 標準ベンチマークを用いて、コード表現タスクにおいてHPG+HGTモデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 プログラムグラフに異種ノードおよびエッジ種別を組み込むと、コード表現の質にどのように影響するか？
• RQ2 手作業で作成されたエッジ（例：NextSib, NextToken）はモデル性能にどの程度寄与しているか？
• RQ3 HGTアーキテクチャは、均一グラフモデルと比較して、異種タイプ情報からどのように利益を得るか？
• RQ4 部分トークンノード上でのデコーディング戦略は、生成タスクにどのような影響を及ぼすか？
• RQ5 ノードまたはエッジ種別を削除すると、モデル性能はどの程度低下するか？

主な発見

• HPG+HGTモデルは、4つのベンチマークデータセットにおいて、コード分類およびメソッド名予測タスクの両方でSOTAベースラインを上回る性能を発揮した。
• HPGからノード種別またはエッジ種別を削除すると、F1スコアが約7%低下し、表現学習におけるその重要性を示している。
• ノードおよびエッジ種別を両方削除してHPGを均一グラフに変換すると、F1スコアは8%低下し、異種性の重要性が確認された。
• 手作業で作成されたNextSibおよびNextTokenエッジを削除すると、それぞれ1.4%および1.0%の精度低下が生じ、p値 < 0.0002であり、強い統計的有意性を示している。
• すべてのノードではなく部分トークンノードのみを対象とするデコーディング戦略を採用しない場合、F1スコアは約4.6%低下し、部分トークンノード限定デコーディングの設計選択が妥当であることが裏付けられた。
• GGNNはエッジ種別情報から利益を得ており、異種エッジが使用された場合にF1スコアが3%向上した。これは、ベースラインGNNでさえタイプに依存したグラフから利益を得られることを示している。