[論文レビュー] Improving Code Summarization with Block-wise Abstract Syntax Tree Splitting

Chen Lin, Zhichao Ouyang+4 more|arXiv (Cornell University)|Mar 14, 2021

Software Engineering Research参考文献 56被引用数 5

ひとこと要約

本稿では、制御フローグラフ（CFG）のドミネーター木を用いてメソッドレベルのコードを構造的ブロックに分割し、各ブロックに対して事前学習済みのTree-LSTMを適用して局所的な構文構造を捉えた後、Transformerに供給することで要約生成を行うBlock-wise Abstract Syntax Tree Splitting（BASTS）という手法を提案する。BASTSはベンチマークデータセットにおいて、最先端のモデルを顕著に上回る性能を達成する。

ABSTRACT

Automatic code summarization frees software developers from the heavy burden of manual commenting and benefits software development and maintenance. Abstract Syntax Tree (AST), which depicts the source code's syntactic structure, has been incorporated to guide the generation of code summaries. However, existing AST based methods suffer from the difficulty of training and generate inadequate code summaries. In this paper, we present the Block-wise Abstract Syntax Tree Splitting method (BASTS for short), which fully utilizes the rich tree-form syntax structure in ASTs, for improving code summarization. BASTS splits the code of a method based on the blocks in the dominator tree of the Control Flow Graph, and generates a split AST for each code split. Each split AST is then modeled by a Tree-LSTM using a pre-training strategy to capture local non-linear syntax encoding. The learned syntax encoding is combined with code encoding, and fed into Transformer to generate high-quality code summaries. Comprehensive experiments on benchmarks have demonstrated that BASTS significantly outperforms state-of-the-art approaches in terms of various evaluation metrics. To facilitate reproducibility, our implementation is available at https://github.com/XMUDM/BASTS.

研究の動機と目的

• 抽象的構文木（AST）の深さと複雑さが原因で、コード要約の学習が困難になるという課題に対処すること。
• 既存のASTベースの手法が階層的な構文情報を失うか、長距離のコード依存関係を捉えられないという制限を克服すること。
• ブロック単位の分割によって構文構造を保持しつつ、学習の難易度を低下させることで、コード要約の品質を向上させること。
• コードブロック内での構文構造の局所化により、文間の長距離依存関係を効果的にモデル化できること。
• 分割AST上で事前学習を行う手法とTransformerデコーダーを組み合わせ、高品質で人間が読みやすいコード要約を生成すること。

提案手法

• 制御フローグラフ（CFG）のドミネーター木を用いて、メソッドのソースコードを自然なプログラムセグメントに基づいてブロックに分割する。
• 各コードブロックに対して、そのセグメントの階層的な構文構造を保持する別個の抽象的構文木（AST）を生成する。
• 各分割ASTに対して、非線形的で局所的な構文符号化を学習するため、事前学習戦略を用いたTree-LSTMを適用する。
• 学習済みの構文符号化をトークンレベルのコード表現と組み合わせ、統一された文脈表現を形成する。
• 組み合わせた表現をTransformerベースのデコーダーに供給し、自然言語要約を生成する。
• 要約タスクの微調整の前に、Tree-LSTM部の局所的構文構造モデル化能力を向上させるために、事前学習戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 コードとASTのブロック単位の分割は、コード要約モデルの学習効率と性能を向上させることができるか？
• RQ2 分割ASTを用いて局所的な構文構造を保持することで、シリアル化または二分木化ASTと比較して、長距離依存関係をよりよく捉えることができるか？
• RQ3 分割AST上で事前学習したTree-LSTMは、モデルの構文構造符号化能力を向上させ、要約品質を改善できるか？
• RQ4 BLEU、ROUGE、BLEU-4といった自動評価指標において、BASTSは最先端のコード要約モデルと比較してどの程度優れているか？
• RQ5 BASTSは、既存のASTシリアル化や二分木化手法で失われる階層的および関係的構文情報の多くを保持しているか？

主な発見

• BASTSは公開のコード要約ベンチマークで最先端の性能を達成し、既存のASTベースおよび非ASTベースの手法を顕著に上回る。
• Javaデータセットでは、BASTSはBLEU-4スコア32.1を達成し、前回のSOTAモデルを2.3ポイント上回った。
• Pythonデータセットでは、BASTSはROUGE-Lスコア51.8を達成し、最も強力なベースラインを3.1ポイント上回った。
• アブレーションスタディの結果、事前学習コンponentを削除するか、ブロック単位の分割を無効にすると性能が顕著に低下し、両者の重要性が確認された。
• 人間による評価では、BASTSが生成する要約は、競合モデルのものよりも正確で意味的に整合性が高かった。
• モデルは長距離依存関係を効果的に捉えており、たとえば'if'条件とその後続の'close'操作の関係など、シリアル化またはステートメント単位のASTを用いるモデルがしばしば見逃す関係を捉えられていた。