[論文レビュー] M2TS: Multi-Scale Multi-Modal Approach Based on Transformer for Source Code Summarization

Yuexiu Gao, Chen Lyu|arXiv (Cornell University)|Mar 18, 2022

Software Engineering Research被引用数 7

ひとこと要約

M2TSは、抽象構文木（AST）からマルチスケールのグラフ畳み込みネットワークを用いて構造的特徴を抽出し、クロスモダリティアテンション機構によりそれらをコードトークン特徴と統合する、マルチスケールでマルチモーダルなトランスフォーマー基盤のモデルである。この手法は、JavaおよびPythonのデータセットにおいて自動評価指標で最先端の性能を達成している。

ABSTRACT

Source code summarization aims to generate natural language descriptions of code snippets. Many existing studies learn the syntactic and semantic knowledge of code snippets from their token sequences and Abstract Syntax Trees (ASTs). They use the learned code representations as input to code summarization models, which can accordingly generate summaries describing source code. Traditional models traverse ASTs as sequences or split ASTs into paths as input. However, the former loses the structural properties of ASTs, and the latter destroys the overall structure of ASTs. Therefore, comprehensively capturing the structural features of ASTs in learning code representations for source code summarization remains a challenging problem to be solved. In this paper, we propose M2TS, a Multi-scale Multi-modal approach based on Transformer for source code Summarization. M2TS uses a multi-scale AST feature extraction method, which can extract the structures of ASTs more completely and accurately at multiple local and global levels. To complement missing semantic information in ASTs, we also obtain code token features, and further combine them with the extracted AST features using a cross modality fusion method that not only fuses the syntactic and contextual semantic information of source code, but also highlights the key features of each modality. We conduct experiments on two Java and one Python datasets, and the experimental results demonstrate that M2TS outperforms current state-of-the-art methods. We release our code at https://github.com/TranSMS/M2TS.

研究の動機と目的

• 既存手法がASTをシーケンスにフラット化することで構造を損なう、もしくはASTパスを用いることでグローバルな文脈を失うという限界を是正すること。
• マルチスケールのグラフ畳み込みネットワークを用いて、ASTの局所的およびグローバルな構造的特徴を包括的に捉えること。
• 新規のクロスモダリティ統合機構を用いて、ASTとコードトークンからの文法的および意味的情報を統合し、コード表現を向上させること。
• 特徴統合およびデコード段階で両モダリティからの重要な特徴を強調することで、要約品質を向上させること。
• 提案されたM2TSモデルが、ベンチマーク用のJavaおよびPythonのソースコード要約データセットにおいて有効であることを示すこと。

提案手法

• M2TSは、AST隣接行列（例：A^1, A^2, ..., A^k）のべき乗行列を計算することで、マルチスケールのAST特徴抽出を実行し、局所的およびグローバルな構造的パターンを捉える。
• 各スケールに対してグラフ畳み込みネットワーク（GCN）を適用し、ASTからの階層的構造的表現を抽出する。残差接続を用いて特徴の劣化を防ぐ。
• コードトークンはBERT事前学習を用いて埋め込み表現化され、AST特徴と並行して第二のモダリティとして使用される。
• 学習可能なアテンション機構を用いたクロスモダリティ統合機構により、ASTおよびトークン特徴を統合し、両モダリティからの重要な特徴を強調する。
• 統合された特徴とトークン埋め込み表現をトランスフォーマーのデコーダーに供給し、自然言語要約を生成する。
• 露出バイアスを軽減するため、スケジュールドデコードを用いたエンド・ツー・エンドのシーケンス・トゥ・シーケンス学習でモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールのAST表現学習は、単一スケールまたはパスベースの手法と比較して、ソースコードの構造的特徴をより良く捉えることができるか？
• RQ2 ASTとコードトークン特徴のクロスモダリティ統合は、単一モダリティまたは単純な連結手法と比較して、より優れた要約性能をもたらすか？
• RQ3 提案されたM2TSモデルは、標準的なJavaおよびPythonのソースコード要約ベンチマークで最先端の性能を達成できるか？
• RQ4 モデルの性能は、さまざまな評価指標でどのように変動し、プログラミング言語に跨って一般化するか？
• RQ5 マルチスケールGCN設計は、複雑なコード構造をモデル化する能力をどの程度向上させるか？

主な発見

• M2TSは、複数の自動評価指標（BLEU、ROUGE、BLEU-4など）において、2つのJavaおよび1つのPython要約データセットで、既存の最先端モデルを上回っている。
• マルチスケールAST特徴抽出手法は、単一スケールまたはパスベースのAST表現を用いたモデルと比較して、構造的特徴学習を顕著に向上させていることが、ROUGE-LおよびBLEUスコアの上昇によって裏付けられている。
• クロスモダリティ統合機構により、ASTとコードトークンからのキーポイントとなる文法的および意味的特徴が効果的に強調され、より正確で文脈に即した要約が生成されている。
• M2TSはJavaデータセットでROUGE-Lスコア48.7、Pythonデータセットで45.2を達成し、以前の最先端手法を上回っている。
• アブレーションスタディの結果、マルチスケールAST抽出およびクロスモダリティ統合の両方が、性能向上に顕著な貢献をしていることが確認され、アブレーションモデルではROUGE-Lスコアが平均で5ポイント以上低下している。
• モデルはプログラミング言語に跨って優れた一般化性能を示しており、JavaおよびPythonの両方のデータセットで一貫した改善を達成している。