[論文レビュー] Program Classification Using Gated Graph Attention Neural Network for Online Programming Service

Mingming Lu, Dingwu Tan+3 more|arXiv (Cornell University)|Mar 9, 2019

Online Learning and Analytics参考文献 24被引用数 5

ひとこと要約

本稿では、データフローおよび関数呼び出し情報を抽象構文木（AST）に統合することで統一されたプログラムグラフを形成し、プログラム分類を向上させるゲーテッドグラフアテンションニューラルネットワーク（GGANN）を提案する。アテンションメカニズムを活用することで、意味的および構造的プログラム特徴を捉えることで、97.8%の最先端の分類精度を達成している。

ABSTRACT

The online programing services, such as Github,TopCoder, and EduCoder, have promoted a lot of social interactions among the service users. However, the existing social interactions is rather limited and inefficient due to the rapid increasing of source-code repositories, which is difficult to explore manually. The emergence of source-code mining provides a promising way to analyze those source codes, so that those source codes can be relatively easy to understand and share among those service users. Among all the source-code mining attempts,program classification lays a foundation for various tasks related to source-code understanding, because it is impossible for a machine to understand a computer program if it cannot classify the program correctly. Although numerous machine learning models, such as the Natural Language Processing (NLP) based models and the Abstract Syntax Tree (AST) based models, have been proposed to classify computer programs based on their corresponding source codes, the existing works cannot fully characterize the source codes from the perspective of both the syntax and semantic information. To address this problem, we proposed a Graph Neural Network (GNN) based model, which integrates data flow and function call information to the AST,and applies an improved GNN model to the integrated graph, so as to achieve the state-of-art program classification accuracy. The experiment results have shown that the proposed work can classify programs with accuracy over 97%.

研究の動機と目的

• 既存のプログラム分類モデルが構文的および意味的情報を効果的に捉えられていないという限界を是正すること。
• GitHub、TopCoder、EduCoderなどのオンラインプログラミングサービスにおけるソーシャルインタラクション効率を向上させることを目的とし、正確なプログラム理解と推薦を可能にすること。
• ソースコード内の細粒度のデータフローと粗粒度の関数呼び出し関係を両方とも捉える統一されたグラフ表現を開発すること。
• プログラム分類に適した意味的に豊かなノード表現を学習可能なグラフニューラルネットワークモデルを設計すること。

提案手法

• 抽象構文木（AST）にデータフロー辺および関数呼び出し辺を追加することで、構文的および意味的情報を捉えるプログラムグラフを構築する。
• ゲーテッドグラフニューラルネットワーク（GGNN）にアテンションメカニズムを統合したゲーテッドグラフアテンションニューラルネットワーク（GGANN）を提案し、メッセージ伝達中にノードの重要度を動的に重みづけする。
• アテンションスコアに基づくグラフレベルの集約関数を用いて、分類のための最終的なグラフ表現を計算する。
• ソースコードから導出されたプログラムグラフ表現にGGANNモデルを適用することで、構造的および意味的特徴のエンドツーエンド学習を可能にする。
• 学習済みノード埋め込みのt-SNE可視化とK-meansクラスタリングを実施し、意味的クラスタリング行動の妥当性を検証する。
• アブレーションスタディおよびTBCNNなどの最先端モデルとの比較を通じて、性能と一般化能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 データフローおよび関数呼び出し情報をASTに統合することで、グラフニューラルネットワークモデルがソースコードの構文的および意味的特徴を効果的に学習できるか？
• RQ2 GGANNにおけるアテンションメカニズムが、プログラムグラフ内の意味的に重要なノードを正しく特定・優先しているか？
• RQ3 学習済みノード表現が、制御構文（例：ForStmt、BreakStmt）や演算子（例：BinaryOperator、IntegerLiteral）といった意味的に関連するノードをグループ化する意味的クラスタリングを反映しているか？
• RQ4 TBCNNなどの既存モデルと比較して、提案されたGGANNモデルは未学習のコードに対して分類精度および一般化性能で優れているか？

主な発見

• 提案されたGGANNモデルはベンチマークデータセット上で97.8%のプログラム分類精度を達成し、最先端の手法を上回っている。
• 学習済みノード表現のt-SNE可視化から明確なクラスタリングパターンが観察され、モデルがノード間の意味的類似性を捉えていることが示された。
• ノード埋め込みのK-meansクラスタリング結果から、制御構文（例：ForStmt、BreakStmt）や演算子（例：BinaryOperator、IntegerLiteral）といった意味的に関連するノードがグループ化されていることが確認された。
• GGANNのアテンションスコアは、IfStmt、CallExpr、CompoundStmtといった重要な構造的ノードを顕著に強調しており、モデルが意味的に豊かなコンponentsに注目できていることを裏付けている。
• モデルは未学習のテストデータに対しても良好な一般化性能を示しており、多様なプログラミングタスクにおいて堅牢で効果的な特徴学習が可能であることが確認された。
• ASTにデータフローおよび関数呼び出し辺を統合することで、ASTのみのモデルと比較して表現品質が顕著に向上した。