[論文レビュー] CoditT5: Pretraining for Source Code and Natural Language Editing

Jiyang Zhang, Sheena Panthaplackel+3 more|arXiv (Cornell University)|Aug 10, 2022

Software Engineering Research被引用数 5

ひとこと要約

CoditT5 は、コードと自然言語の編集を明示的に推論できる新しい編集駆動型事前学習目的を導入し、ソフトウェア編集タスクにおける性能を向上させる。出力生成の前に編集操作を生成することで、コメント更新、バグ修正、自動コードレビューのタスクで標準的生成モデルを上回り、標準モデルによる再ランク付けによってさらなる向上が得られる。

ABSTRACT

Pretrained language models have been shown to be effective in many software-related generation tasks; however, they are not well-suited for editing tasks as they are not designed to reason about edits. To address this, we propose a novel pretraining objective which explicitly models edits and use it to build CoditT5, a large language model for software-related editing tasks that is pretrained on large amounts of source code and natural language comments. We fine-tune it on various downstream editing tasks, including comment updating, bug fixing, and automated code review. By outperforming standard generation-based models, we demonstrate the generalizability of our approach and its suitability for editing tasks. We also show how a standard generation model and our edit-based model can complement one another through simple reranking strategies, with which we achieve state-of-the-art performance for the three downstream editing tasks.

研究の動機と目的

• 標準的な事前学習言語モデルがソフトウェアタスクにおける局所的編集を推論する能力に制限を受けるという問題に対処する。
• 挿入、削除、置換といった編集操作を明示的にモデル化する事前学習目的を開発し、編集に配慮した生成を向上させる。
• 多様な編集タスクをサポートするため、590万件のコードスニペットと160万件のコメントで事前学習された大規模モデル、CoditT5 を構築する。
• コメント更新、バグ修正、自動コードレビューといった複数のソフトウェア編集タスクにわたる編集ベースのアプローチの一般化を実証する。
• 再ランク付けを用いてCoditT5と標準生成モデルを組み合わせることで、モデルの相乗効果を探索し、最先端の性能を達成する。

提案手法

• 2段階のデコードプロセスを設計：まず、操作（挿入、削除、置換）を指定する編集計画を生成し、次に編集計画へのアテンションを用いて出力を生成する。
• CodeSearchNet から抽出した590万件のオープンソースコードスニペットと160万件の自然言語コメントを用いて、新しい編集に配慮した目的関数でCoditT5を事前学習する。
• T5ベースのシーケンス・ツー・シーケンス変換器アーキテクチャを用い、編集操作を表す特別なトークン形式を事前学習中に使用する。
• モデルに入力シーケンス内の編集操作とその位置を予測させることで、生成時に局所的推論を可能にする。
• コメント更新、バグ修正、自動コードレビューの3つの下流タスクでCoditT5を微調整する。
• CoditT5 と標準生成モデル（例：CodeT5）の出力を再ランク付けすることで、相補的な強みを活かす。

実験結果

リサーチクエスチョン

• RQ1 編集操作を明示的にモデル化する事前学習目的は、標準的生成モデルと比較してソフトウェア編集タスクの性能を向上させるか？
• RQ2 CoditT5 はコメント更新、バグ修正、自動コードレビューといった多様な編集タスクにどれほど一般化できるか？
• RQ3 編集ベースのモデル（例：CoditT5）は、標準生成モデルと組み合わせることで、どの程度全体の性能向上に寄与できるか？
• RQ4 デコード時に編集計画を統合することで、自己回帰的生成のみに依存する場合と比較して、より正確で局所的な編集が可能になるか？
• RQ5 単純な再ランク付け戦略は、編集ベースと生成ベースのモデルの出力を効果的に統合し、最先端の結果を達成できるか？

主な発見

• CoditT5 は、コメント更新、バグ修正、自動コードレビューの3つの下流タスクすべてで、標準的生成ベースのモデル（例：CodeT5、PLBART）を上回る性能を発揮した。
• 自動コードレビュータスクでは、微調整された BART や T5 の変種を含む既存のモデルを上回り、新たな最先端の結果を達成した。
• 標準モデルと比較して、関係のない出力やコピーのみの生成を最大34.25％まで削減し、より優れた編集に配慮した性能を示した。
• CoditT5 と標準生成モデル（例：CodeT5）の出力を再ランク付けすることで、3つのタスクすべてで新たな最先端の性能を達成した。
• 編集ベースのアプローチは強力な一般化性能を示し、コードとコメントを含む多様な編集シナリオにおいて一貫した改善をもたらした。
• CoditT5 と標準生成モデルを再ランク付けによって統合することで、両モデルの個別性能を上回り、相補性が確認された。