[論文レビュー] TreeCaps: Tree-Structured Capsule Networks for Program Source Code Processing

Vinoj Jayasundara, Nghi D. Q. Bui+2 more|arXiv (Cornell University)|Oct 27, 2019

Software Engineering Research被引用数 9

ひとこと要約

本稿では、抽象構文木（AST）を用いて構文的構造と長距離の意味的依存関係を捉えることで、プログラムのソースコードをモデル化する新しい木構造キャプセルネットワーク、TreeCapsを提案する。主変数および静的キャプセル層を導入し、新たな変数から静的へのルーティングアルゴリズムを採用することで、複数のプログラミング言語においてプログラム機能分類タスクで最先端の性能を達成し、TBCNNs、GGNNs、ASTNNsを著しく上回った。

ABSTRACT

Program comprehension is a fundamental task in software development and maintenance processes. Software developers often need to understand a large amount of existing code before they can develop new features or fix bugs in existing programs. Being able to process programming language code automatically and provide summaries of code functionality accurately can significantly help developers to reduce time spent in code navigation and understanding, and thus increase productivity. Different from natural language articles, source code in programming languages often follows rigid syntactical structures and there can exist dependencies among code elements that are located far away from each other through complex control flows and data flows. Existing studies on tree-based convolutional neural networks (TBCNN) and gated graph neural networks (GGNN) are not able to capture essential semantic dependencies among code elements accurately. In this paper, we propose novel tree-based capsule networks (TreeCaps) and relevant techniques for processing program code in an automated way that encodes code syntactical structures and captures code dependencies more accurately. Based on evaluation on programs written in different programming languages, we show that our TreeCaps-based approach can outperform other approaches in classifying the functionalities of many programs.

研究の動機と目的

• TBCNNs や GGNNs などの既存モデルが、ソースコードにおける長距離の依存関係や意味的関係を捉える点で限界を示しているのを是正すること。
• 階層的および空間的関係を保持できるように、木構造ASTに特化したキャプセルネットワークアーキテクチャを開発すること。
• 手動で追加されたエッジやASTの分解に依存せずに、構文的構造と複雑なコード依存関係をモデル化することで、プログラム機能分類の精度を向上させること。
• 変数から静的へのルーティングや追加のキャプセル層といった新規コンponentsの有効性を評価すること。

提案手法

• TreeCapsは抽象構文木（AST）を入力とし、可変サイズのコード木を処理できる主変数キャプセル（PVC）および主静的キャプセル（PSC）層を導入する。
• 新たな変数から静的へのルーティングアルゴリズムにより、可変数のキャプセルを固定数の静的キャプセルに動的にルーティングし、遠く離れたコード要素間の意味的依存関係を保持する。
• キャプセル層間の動的ルーティングを採用し、階層的表現を学習する。ルーティングの意思決定は、キャプセル間のアテンションに類似した一致度に基づく。
• 最終的なコードキャプセル（CC）層は、分類のための固定次元の潜在表現を出力する。インスタンス化パラメータは最適な意味的符号化を実現するために調整される。
• 依存関係グラフを明示的に構築せず、キャプセルルーティングを通じてエンドツーエンドで依存関係を学習することで、ヒューリスティックに追加されたエッジに起因するノイズを低減する。
• プログラム機能分類のための交差エントロピー損失を用いてエンドツーエンドで学習し、ルーティング、次元数、追加層に関するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 キャプセルネットワークアーキテクチャは、ASTとして表現されたプログラムソースコードの階層的および構造的関係を効果的にモデル化できるか？
• RQ2 提案された変数から静的へのルーティングアルゴリズムは、動的マックスプールングなどの代替手法と比較して、コードの意味をより良く保持し、分類精度を向上させるか？
• RQ3 効果的なプログラム分類のためのコードキャプセルインスタンス化パラメータの最適次元数は何か？
• RQ4 計算コストの増加を伴うものの、中間の二次キャプセル層を追加することで分類性能が向上するか？
• RQ5 TBCNNs、GGNNs、ASTNNs などの既存モデルと比較して、TreeCapsは複数のプログラミング言語におけるプログラム機能分類タスクでどのように性能を発揮するか？

主な発見

• TreeCapsは、TBCNNs、GGNNs、ASTNNsを上回り、アブレーションスタディにおいて動的マックスプールング（DMP）と比較して8.68%の顕著な精度向上を達成した。
• 提案された変数から静的へのルーティングアルゴリズムは92.11%の分類精度を達成し、動的マックスプールングで得られた83.43%と比較して顕著に優れており、意味的依存関係の保持に有効であることが示された。
• コードキャプセルインスタンス化パラメータ（D_cc）の最適次元数はBデータセットで8であった。これは表現能力と一般化性能のバランスを示している。
• 二次キャプセル層の追加により精度はわずかに向上したが、推論時間は16%増加した。性能と効率のトレードオフが生じており、今後の調査が求められる。
• アブレーションスタディにより、主変数および主静的キャプセル層、およびルーティング機構が、モデルの高い性能を発揮するために不可欠であることが確認された。各コンponentが分類精度に有意義に寄与している。