[論文レビュー] Abstract Syntax Tree for Programming Language Understanding and Representation: How Far Are We?

Weisong Sun, Chunrong Fang+9 more|arXiv (Cornell University)|Dec 1, 2023

Software Engineering Research被引用数 6

ひとこと要約

本研究では、コードクローン検出、コード検索、コード要約の3つのタスクにおいて、ASTベースとトークンベースのコード表現学習を包括的に実証的に比較する。驚くべきことに、ASTベースの表現を用いたモデルは、トークンベースの表現を用いたモデルに比べて一貫して性能が低いが、特定のサンプルサブセットでは優れた性能を示す。これは、ASTベースのコード表現において、文脈に応じた段階別手法選択の重要性を示している。

ABSTRACT

Programming language understanding and representation (a.k.a code representation learning) has always been a hot and challenging task in software engineering. It aims to apply deep learning techniques to produce numerical representations of the source code features while preserving its semantics. These representations can be used for facilitating subsequent code-related tasks. The abstract syntax tree (AST), a fundamental code feature, illustrates the syntactic information of the source code and has been widely used in code representation learning. However, there is still a lack of systematic and quantitative evaluation of how well AST-based code representation facilitates subsequent code-related tasks. In this paper, we first conduct a comprehensive empirical study to explore the effectiveness of the AST-based code representation in facilitating follow-up code-related tasks. To do so, we compare the performance of models trained with code token sequence (Token for short) based code representation and AST-based code representation on three popular types of code-related tasks. Surprisingly, the overall quantitative statistical results demonstrate that models trained with AST-based code representation consistently perform worse across all three tasks compared to models trained with Token-based code representation. Our further quantitative analysis reveals that models trained with AST-based code representation outperform models trained with Token-based code representation in certain subsets of samples across all three tasks. We also conduct comprehensive experiments to evaluate and reveal the impact of the choice of AST parsing/preprocessing/encoding methods on AST-based code representation and subsequent code-related tasks. Our study provides future researchers with detailed guidance on how to select solutions at each stage to fully exploit AST.

研究の動機と目的

• ASTベースのコード表現が下流のコード関連タスクを支援する効果を定量的に評価すること。
• 理論的利点があるにもかかわらず、ASTベースの表現がトークンベースの表現に比べて性能が劣る理由を特定すること。
• 異なるASTパース、前処理、エンコーディング手法の選択が、多様なコードタスクにおけるモデル性能に与える影響を調査すること。
• タスクの文脈に基づいて、ASTベースの表現技術を選択するための実行可能な段階別ガイドラインを提供すること。

提案手法

• 本研究では、コードクローン検出、コード検索、コード要約の3つのコード関連タスクにおいて、ASTベースとトークンベースのコード表現で学習されたモデルを比較する。
• 4種類のASTパース手法、6種類のAST前処理技術、4種類のASTエンコーディング手法を、既存研究で一般的に用いられているものとして評価する。
• モデル性能を比較するために統計的分析を実施し、サブグループ分析によりASTベースのモデルがトークンベースのモデルを上回るケースを同定する。
• ASTパース段階では、さまざまなツールと設定を用いてソースコードを抽象構文木（AST）に変換する。
• 前処理段階では、ノード正規化、部分木の剪定、構造の単純化などの技術を適用し、ASTのエンコーディングに適した状態に整える。
• エンコーディング段階では、Transformer、GNN、木構造アテンションメカニズムを含む深層学習モデルを用いて、ASTからコード埋め込み表現を生成する。

実験結果

リサーチクエスチョン

• RQ1 ASTベースのコード表現は、コードクローン検出、コード検索、コード要約の各タスクにおいて、トークンベースの表現と比べてどの程度性能が優れているか？
• RQ2 ASTベースの表現がトークンベースの表現を上回る、特定のコードサンプルサブセットはどのようなものか？
• RQ3 ASTパース、前処理、エンコーディング段階での異なる選択肢が、コード表現モデルの最終的性能に与える影響は何か？
• RQ4 さまざまなAST表現パイプライン部品が、下流のコードインテリジェンスタスクに与えるタスク固有の影響は何か？

主な発見

• ASTベースのコード表現で学習されたモデルは、コードクローン検出、コード検索、コード要約の3つのタスクすべてにおいて、トークンベースの表現で学習されたモデルに比べて一貫して性能が低い。
• 全体としての劣化にもかかわらず、ASTベースのモデルは特定のサンプルサブセットではトークンベースのモデルを上回る。コード要約では最大39%、コード検索では最大28%のサンプルでその傾向が見られた。
• ASTベースの表現の性能は、パース、前処理、エンコーディング手法の選択に極めて敏感であり、その影響はタスクによっても異なる。
• ASTがトークンを上回るサブセットは、通常、文語的類似度が低いコード、たとえば構造的類似性はあるが語彙的差異が大きいクローンペアに多く見られる。
• 本研究では、どのAST表現パイプライン構成も普遍的に優れているとは限らず、タスクに応じた最適化の重要性が浮き彫りになった。
• 結果から、現在のASTベースのコード表現学習には体系的な指針が欠けていることが示され、今後の研究では文脈に配慮した、段階に配慮した設計に注力すべきである。