[論文レビュー] CERT: Continual Pre-Training on Sketches for Library-Oriented Code Generation

Daoguang Zan, Bei Chen+7 more|arXiv (Cornell University)|Jun 14, 2022

Software Engineering Research被引用数 9

ひとこと要約

本稿では、コードスケッチを活用してライブラリ指向のコード生成を向上させる継続的事前学習フレームワークであるCERTを提案する。スケッチ生成モデルと生成モデルの両方を、ラベルなしコード上で継続的に事前学習することで、PandasEvalベンチマークにおいてベースモデル比で15.67%のpass@1の絶対的向上を達成し、高価なテキスト-コードペairedデータを必要としない強力な性能を示している。

ABSTRACT

Code generation is a longstanding challenge, aiming to generate a code snippet based on a natural language description. Usually, expensive text-code paired data is essential for training a code generation model. Recently, thanks to the success of pre-training techniques, large language models are trained on large-scale unlabelled code corpora and perform well in code generation. In this paper, we investigate how to leverage an unlabelled code corpus to train a model for library-oriented code generation. Since it is a common practice for programmers to reuse third-party libraries, in which case the text-code paired data are harder to obtain due to the huge number of libraries. We observe that library-oriented code snippets are more likely to share similar code sketches. Hence, we present CERT with two steps: a sketcher generates the sketch, then a generator fills the details in the sketch. Both the sketcher and the generator are continually pre-trained upon a base model using unlabelled data. Furthermore, we craft two benchmarks named PandasEval and NumpyEval to evaluate library-oriented code generation. Experimental results demonstrate the impressive performance of CERT. For example, it surpasses the base model by an absolute 15.67% improvement in terms of pass@1 on PandasEval. Our work is available at https://github.com/microsoft/PyCodeGPT.

研究の動機と目的

• 高価なテキスト-コードペアドデータに依存せずに、ライブラリ指向のコードスニペットを生成する課題に対処すること。
• ユーザー定義語を省いた抽象化された構造（コードスケッチ）が、テキスト-コードペアドデータが存在しない継続的事前学習における有効な監視信号として機能するかを検討すること。
• 未ラベル付きコードコーパスを用いて、Pandas や NumPy などの人気ライブラリ向けのコード生成性能を向上させること。
• ライブラリ固有のコード生成能力を評価するための専用ベンチマーク、PandasEval と NumpyEval を開発すること。

提案手法

• スケッチ生成モデルは、コードスニペットからユーザー定義語（例：変数名、定数）を匿名化することで、コードスケッチを予測するように訓練される。
• 生成モデルは、予測されたスケッチを条件として用い、スケッチを構造的プロンプトとして、完全なコードを生成するように訓練される。
• スケッチ生成モデルと生成モデルの両方を、テキスト-コードペアドデータを一切必要としない大規模な未ラベル付きコードコーパス上で継続的に事前学習する。
• 本手法は、ベースとなるコード言語モデル（PyCodeGPT）を基盤とし、ライブラリ固有のコードファイル上で継続的事前学習によりファインチューニングされる。
• 本手法は、PandasEval と NumpyEval の2つの新しいベンチマークを用いて評価される。各ベンチマークには、Pythonで記述された101のライブラリ固有のプログラミング問題が含まれる。
• 一般化を評価するための変種であるCERTgも、全コードコーパス上で訓練されている。その結果、スケッチベースの事前学習がライブラリ指向タスクにおいて特に効果的であることが示された。

実験結果

リサーチクエスチョン

• RQ1 テキスト-コードペアドデータが存在しない状況下で、コードスケッチが継続的事前学習における有効な監視信号として機能するか？
• RQ2 コード生成をスケッチ予測と詳細の埋め込みに分解することで、ライブラリ指向のコード生成タスクにおける性能向上が達成されるか？
• RQ3 PandasEval や NumpyEval ベンチマークにおいて、CERTはCodex や GPT-3 といった強力なベースラインと比較してどうなるか？
• RQ4 スケッチベースのアプローチは一般コード生成に一般化可能か、それともライブラリ指向タスクに特化して有効か？

主な発見

• CERTは、ベースモデルと比較してPandasEvalベンチマークでpass@1に15.67%の絶対的向上を達成し、ライブラリ指向のコード生成において顕著な向上を示している。
• スケッチ生成モデルと生成モデルは相乗的に作用しており、不完全なスケッチ予測に対しても生成モデルが是正できるため、スケッチの誤りに対して耐性があることが示された。
• 11000万パラメータしか持たないにもかかわらず、PandasEval および NumpyEval ベンチマークでGPT-3 や Codex を上回る性能を示しており、優れたサンプル効率性を示している。
• 全コードコーパス上で訓練された変種CERTgは、HumanEvalではベースモデルと同等の性能を示しており、スケッチベースの事前学習がライブラリ固有のタスクに最も効果的であることが確認された。
• アブレーションスタディの結果、ライブラリ指向のコードファイルの抽出がCERTの性能にとって不可欠であることが確認され、CERTgはライブラリ固有ベンチマークでCERTに劣ることがわかった。
• 事例スタディでは、スケッチ生成モデルがユーザー定義語が存在しない状況でも正しい構造的テンプレートを生成できること、また生成モデルが誤ったスケッチに対しても回復できることを示しており、フレームワークのレジリエンスが顕著に表れている。