[論文レビュー] Automatic Code Generation using Pre-Trained Language Models

Luis J. Dominguez Perez, Lizi Ottens+1 more|arXiv (Cornell University)|Feb 21, 2021

Topic Modeling参考文献 8被引用数 11

ひとこと要約

この論文では、関数のシグネチャとdocstringを入力として、Pythonにおけるエンドツーエンドのコード生成のため、事前学習済みGPT-2言語モデルを微調整する手法を提案している。このアプローチは、BLEUスコア0.22を達成し、文字レベルのRNNベースラインよりも46%の改善を示しており、大規模な事前学習モデルが構文的に正しいかつ意味的に適切なコードを効果的に生成できることを示している。

ABSTRACT

Recent advancements in natural language processing \cite{gpt2} \cite{BERT} have led to near-human performance in multiple natural language tasks. In this paper, we seek to understand whether similar techniques can be applied to a highly structured environment with strict syntax rules. Specifically, we propose an end-to-end machine learning model for code generation in the Python language built on-top of pre-trained language models. We demonstrate that a fine-tuned model can perform well in code generation tasks, achieving a BLEU score of 0.22, an improvement of 46\% over a reasonable sequence-to-sequence baseline. All results and related code used for training and data processing are available on GitHub.

研究の動機と目的

• 事前学習済み言語モデルが、Pythonのような非常に構造化されたドメインにおいて、コード生成に効果的に微調整可能かどうかを調査すること。
• 関数のシグネチャとdocstringから関数本体を生成するタスクにおいて、微調整されたGPT-2モデルと文字レベルのRNNベースラインの性能を比較すること。
• 事前学習が、構文的正しさと意味的関連性の両面でコード生成品質に与える影響を評価すること。
• 自然言語の事前学習からプログラミング言語生成への知識の転送の可能性を評価すること。

提案手法

• CodeSearchNetデータセットの洗練されたサブセット（Pythonの50万件の(docstring, code)ペアを含む）に対して、小規模なGPT-2モデル（117Mパラメータ）を微調整する。
• 入力として関数のシグネチャとdocstring、出力として対応する関数本体を生成する、シーケンス・トゥ・シーケンスのフレームワークを採用する。
• バイトペア符号化（BPE）を用いたトークン化を実施し、文字レベルの埋め込みよりもコード生成品質が向上することを確認した。
• バッチサイズ2で100,000回のミニバッチイテレーションを実行し、標準的な言語モデル学習目的関数を用いて学習を実施した。
• 生成されたコードと参照コードのn-gram一致度を測るため、ホールドアウトされたテストセット上でBLEUスコアを用いて性能を評価した。
• 強力なベースラインとして、Pythonデータの10%で学習された文字レベルのRNNを用い、128トークンのシーケンスとソフトマックス交差エントロピー損失を適用した。

実験結果

リサーチクエスチョン

• RQ1 GPT-2のような事前学習済み言語モデルを、関数のシグネチャとdocstringから構文的に正しいかつ意味的に適切なPython関数本体を効果的に生成できるように微調整できるか？
• RQ2 微調整されたGPT-2モデルの性能は、文字レベルのRNNベースラインと比較して、コード生成タスクでどの程度優れているか？
• RQ3 大規模な自然言語データで事前学習したモデルの知識は、Pythonのような構造化されたプログラミング言語のコード生成にどの程度転送可能か？
• RQ4 バイトペア符号化（BPE）を用いることで、文字レベルのトークン化と比較してコード生成品質が向上するか？

主な発見

• 微調整されたGPT-2モデルは、コード生成タスクでBLEUスコア0.22を達成し、文字レベルのRNNベースラインを著しく上回った。
• GPT-2モデルは、同じ評価セットで0.015のスコアを記録したRNNベースラインと比較して、BLEUスコアで46%の相対的改善を示した。
• 定性的な分析により、モデルはif文の正しく使用された構文、関数呼び出し、メソッド定義を含む、正しいPython構文を持つ新しいコードを生成した。
• モデルは多様な関数のシグネチャとドキュメンテーションに対して、堅牢な一般化能力を示し、意味的に関連性のあるコードを生成した。
• GPT-2におけるBPEトークン化の使用により、文字レベルの埋め込みと比較して、より良い性能とより一貫性のあるコード生成が実現した。
• トレーニング損失とBLEUスコアは時間経過とともに改善を示し、さらなる微調整でさらなる向上が得られる可能性があることが示された。