[論文レビュー] StructCoder: Structure-Aware Transformer for Code Generation

Sindhu Tipirneni, Ming Zhu+1 more|arXiv (Cornell University)|Jun 10, 2022

Software Engineering Research被引用数 7

ひとこと要約

StructCoder は、エンコーダーとデコーダーの両方で抽象構文木（AST）とデータフローグラフ（DFG）を統合的にモデル化することで、文法的・意味的整合性を向上させる構造に配慮したトランスフォーマー暗号化デコーダーモデルを提案する。デコーダー段階で、ASTパス予測とDFGエッジ予測という新たな補助タスクを導入し、CodeXGLUEおよびAPPSベンチマークで最先端の性能を達成した。

ABSTRACT

There has been a recent surge of interest in automating software engineering tasks using deep learning. This paper addresses the problem of code generation, where the goal is to generate target code given source code in a different language or a natural language description. Most state-of-the-art deep learning models for code generation use training strategies primarily designed for natural language. However, understanding and generating code requires a more rigorous comprehension of the code syntax and semantics. With this motivation, we develop an encoder-decoder Transformer model where both the encoder and decoder are explicitly trained to recognize the syntax and data flow in the source and target codes, respectively. We not only make the encoder structure-aware by leveraging the source code's syntax tree and data flow graph, but we also support the decoder in preserving the syntax and data flow of the target code by introducing two novel auxiliary tasks: AST (Abstract Syntax Tree) paths prediction and data flow prediction. To the best of our knowledge, this is the first work to introduce a structure-aware Transformer decoder that models both syntax and data flow to enhance the quality of generated code. The proposed StructCoder model achieves state-of-the-art performance on code translation and text-to-code generation tasks in the CodeXGLUE benchmark, and improves over baselines of similar size on the APPS code generation benchmark. Our code is publicly available at https://github.com/reddy-lab-code-research/StructCoder/.

研究の動機と目的

• 既存のコード生成モデルが自然言語としてコードを扱うための制限を是正し、構文的および意味的構造を無視すること。
• エンコーダーでソースコードの構文（ASTを介して）とデータフロー（DFGを介して）を明示的にモデル化することで、コード生成の質を向上させること。
• デコーダー出力を、ターゲットコード内のルートからリーフへのASTパスとDFGエッジの予測を学習させることで、構造的整合性を強化すること。
• モデル効率を維持したまま、コード翻訳およびテキストからコード生成タスクで最先端の結果を達成すること。
• エンコーダーとデコーダーの両方に構造的インダクティブバイアスを統合することで、より信頼性が高く意味的に正確なコード生成を可能にすること。

提案手法

• 構文的依存関係をモデル化するため、構造に配慮した自己注意機構を用いて、ソースコードのASTのルートからリーフへのパスとDFGノードをエンコーダー入力に追加する。
• コードトークン、ASTノード、DFG変数間の構造的関係を保持するように変更された自己注意メカニズムを導入する。
• デコーダーを、ターゲットAST内のすべてのルートからリーフへのパスの予測と、ターゲットコード内のDFGエッジの予測という2つの補助タスクで訓練する。
• 表現学習を向上させるために、構造に基づいたノイズ除去自己オートエンコーダー（DAE）タスクを用いて事前学習を行う。
• 微調整段階でマスク言語モデル、ASTパス予測、DFGエッジ予測を組み合わせたマルチタスク学習目的関数を実装する。
• GPU上でコードトークン、DFG変数、ASTリーフ間のスパースな注意パターンを効率的に処理するための注意マスクを実装する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーとデコーダーの両方でASTとDFG構造を統合的にモデル化することで、標準的なトランスフォーマーと比較してコード生成の質が向上するか？
• RQ2 デコーダーをASTパスとDFGエッジの予測に学習させることで、より構文的・意味的に正しいコード生成が達成されるか？
• RQ3 構造的コンponentsの組み込みが推論効率およびスケーラビリティに与える影響は何か？
• RQ4 構造に配慮した設計が、コード翻訳およびテキストからコード生成ベンチマークでのパフォーマンスにどの程度向上をもたらすか？
• RQ5 構造に配慮した事前学習と補助タスクが、異なるプログラミング言語やコード生成タスクに一般化可能か？

主な発見

• StructCoder は、コード翻訳およびテキストからコード生成タスクにおいて、CodeXGLUEベンチマークで最先端のパフォーマンスを達成した。
• APPSベンチマークでは、同サイズのベースラインを上回り、一般化性能と正答率の向上を示した。
• Go言語におけるコード要約性能が4.62 BLEUポイント向上（19.56 → 24.18）し、より広範な適用可能性を示した。
• エンコーダーにASTおよびDFGコンponentsを追加しても、入力長が75–83%増加したにもかかわらず、推論時間はたった28–29%増加に抑えられ、GPUの効率的利用が確認された。
• デコーダーの補助タスク（ASTパスおよびDFG予測）は、推論コストを増加させることなく、構造的整合性を著しく向上させた。
• 構造に配慮した自己注意機構により、特に複雑な変換において、コードの意味的・構文的特徴をよりよくモデル化できた。