[論文レビュー] A Transformer-based Approach for Source Code Summarization

Wasi Uddin Ahmad, Saikat Chakraborty+2 more|arXiv (Cornell University)|May 1, 2020

Software Engineering Research参考文献 31被引用数 37

ひとこと要約

本論文は、相対位置表現とコピーアテンションを備えた Transformer が、最先端手法と比べてソースコード要約を大幅に改善し、JavaとPythonのデータセットでベースラインを上回ることを示しています。

ABSTRACT

Generating a readable summary that describes the functionality of a program is known as source code summarization. In this task, learning code representation by modeling the pairwise relationship between code tokens to capture their long-range dependencies is crucial. To learn code representation for summarization, we explore the Transformer model that uses a self-attention mechanism and has shown to be effective in capturing long-range dependencies. In this work, we show that despite the approach is simple, it outperforms the state-of-the-art techniques by a significant margin. We perform extensive analysis and ablation studies that reveal several important findings, e.g., the absolute encoding of source code tokens' position hinders, while relative encoding significantly improves the summarization performance. We have made our code publicly available to facilitate future research.

研究の動機と目的

• プログラム理解を支援するために、ソースコードの自然言語要約の自動生成を動機づける。
• トランスフォーマー基づくモデルが、RNN よりもコードの長距離依存関係をよりうまく捉えられるかを調査する。
• コードからテキストへの生成を改善するために、相対位置表現とコピーアテンションを評価する。
• 要約性能に対する絶対配置と相対配置、およびASTベースの構造の影響を評価する。
• コード要約における効果的な Transformer 設定のためのアブレーションと実用的なガイドラインを提供する。

提案手法

• コードトークンから自然言語の要約を生成するために、Transformer のエンコーダ-デコーダを適用する。
• 入力から希少なコードトークン（識別子など）をコピーするコピーアテンション機構を組み込む。
• コードトークンの順序について、絶対配置と相対配置の両方を実験する。
• 方向情報を無視する相対位置表現を評価し、方向性のあるバリアントと比較する。
• CamelCase および snake_case トークンをサブトークンに分割して語彙サイズを削減し、性能を向上させる。
• モデルサイズ、深さ、およびAST（SBT）表現の使用に関する広範なアブレーションを実施し、影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 Transformer ベースのモデルは、JavaおよびPythonデータセットでソースコード要約において最先端のニューラル手法を上回るか？
• RQ2 コードトークンの相対位置情報を符号化することは、絶対位置符号化と比較して要約を改善するか？
• RQ3 コピーアテンション機構の包含が要約の品質に与える影響は何か？
• RQ4 コード要約におけるモデルサイズと深さはパフォーマンスにどう影響するか？
• RQ5 Transformersを用いたコード要約でAST構造をSBTとして組み込むことは有効か？

主な発見

モデル	BLEU (Java)	METEOR (Java)	ROUGE-L (Java)	BLEU (Python)	METEOR (Python)	ROUGE-L (Python)
Base Model	43.41	25.91	52.71	31.08	18.57	44.31
Full Model	44.58	26.43	54.76	32.52	19.77	46.73
Full Model w/o Relative Position	44.26	26.23	53.58	31.38	18.69	44.68
Full Model w/o Copy Attention	44.14	26.34	53.95	31.64	19.17	45.42

• 相対位置表現とコピーアテンションを備えたフルモデルは、両データセットでベースラインおよびベースモデルを上回る。
• コピーアテンションは、ベースの Transformer に対して一貫した向上をもたらす（Java +0.44 BLEU、Python +0.88 BLEU）。
• 方向情報を無視する相対位置表現は、絶対配置および方向性のあるバリアントより性能を向上させる。
• より深いモデル（層が多い方）が、コード要約において広いモデルより大きな効果をもたらす。
• ASTベースの拡張（SBT）は、用いられた Transformer 設定では性能を向上させなかった。
• コードトークンの絶対配置は有益ではなく、相対的なペア関係が有利である。）