[論文レビュー] Code Completion by Modeling Flattened Abstract Syntax Trees as Graphs

Yanlin Wang, Hui Li|arXiv (Cornell University)|Mar 17, 2021

Software Engineering Research被引用数 5

ひとこと要約

本論文では、フラット化された抽象構文木（AST）をグラフとして表現することで、コード内の順序的・繰り返し的・構造的パターンを捉える新しいコード補完モデルCCAGを提案する。ASTグラフアテンションブロックを用い、マルチタスク学習と不確実性に基づく損失重み付けを行うことで、CCAGはコード補完ベンチマークで最先端の性能を達成し、値予測および型予測の両タスクで既存手法を上回った。

ABSTRACT

Code completion has become an essential component of integrated development environments. Contemporary code completion methods rely on the abstract syntax tree (AST) to generate syntactically correct code. However, they cannot fully capture the sequential and repetitive patterns of writing code and the structural information of the AST. To alleviate these problems, we propose a new code completion approach named CCAG, which models the flattened sequence of a partial AST as an AST graph. CCAG uses our proposed AST Graph Attention Block to capture different dependencies in the AST graph for representation learning in code completion. The sub-tasks of code completion are optimized via multi-task learning in CCAG, and the task balance is automatically achieved using uncertainty without the need to tune task weights. The experimental results show that CCAG has superior performance than state-of-the-art approaches and it is able to provide intelligent code completion.

研究の動機と目的

• 既存のコード補完手法がAST内の順序的・繰り返し的・構造的パターンを捉えられていないという限界を解決すること。
• 順序的および構造的依存関係を保持するフラット化ASTをグラフとしてモデル化することで、コード補完を向上させること。
• 手動でのハイパーパrameterチューニングを必要とせず、自動的にタスクバランスをとるマルチタスク学習を可能にすること。
• 専用のグラフアテンションメカニズムにより多様な依存関係を捉えることで、表現学習を強化すること。

提案手法

• CCAGは、事前に順序深さ優先探索を用いて木構造をフラット化することで、部分ASTをグラフとしてモデル化し、順序的および構造的情報を保持する。
• ASTノード間の異なる種類の依存関係を捉えるために、3つの異なるアテンション層を備えたASTグラフアテンションブロック（ASTGab）を導入する。
• ASTGab内に残差接続を適用することで、深層スタックが可能になり、表現学習が向上する。
• 値予測と型予測の両タスクをマルチタスク学習で行い、不確実性に基づく損失重み付けにより2つのタスクを自動的にバランスさせる。
• 不確実性に基づく損失の定式化により、勾配降下を用いてエンドツーエンドでタスク重みを学習可能となり、手動でのチューニングを回避できる。
• 結合損失関数は、値予測と型予測の損失を、正則化された学習可能な温度パラメータを用いて組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 フラット化ASTをグラフとしてモデル化することで、順序的および構造的パターンを捉えることで、コード補完の性能が向上するか？
• RQ2 グラフベースのアテンションメカニズムは、AST内の多様な依存関係をコード補完のために効果的に学習できるか？
• RQ3 マルチタスク学習における不確実性に基づく損失重み付けは、手動でのタスク重み付けよりも優れた性能をもたらすか？
• RQ4 コード内の繰り返しパターンは、ASTベースのコード補完モデルの有効性にどの程度影響を与えるか？
• RQ5 統一されたグラフ表現は、シーケンスベースまたは純粋なグラフベースのASTモデリングを上回る性能を発揮できるか？

主な発見

• CCAGは、ベンチマークコード補完データセットで最先端の性能を達成し、既存のSOTA手法を上回った。
• グラフ構造のAST表現を活用することで、値予測および型予測の両方の精度が顕著に向上した。
• 不確実性に基づく損失重み付け機構により、手動でのハイパーパrameterチューニングを必要とせず、マルチタスク学習が効果的にバランスされた。
• 残差接続を備えたASTグラフアテンションブロックにより、コード補完におけるより深いおよびより効果的な表現学習が可能になった。
• 実験結果により、コード内の順序的および繰り返しパターンを捉えることで、モデルの一般化能力および予測品質が向上することが確認された。