[論文レビュー] Pre-trained Contextual Embedding of Source Code

Aditya Kanade, Petros Maniatis+2 more|arXiv (Cornell University)|Sep 25, 2019

Software Engineering Research参考文献 28被引用数 41

ひとこと要約

本稿では、GitHub から取得した大規模な Python プログラムコーパスを用いて事前学習されたコンテキスト埋め込みモデルである Code Understanding BERT (CuBERT) を紹介する。BERT の自己注意メカニズムをコードに適応させることで、微調整に必要なデータ量やエポック数が限られた状況においても、5 つの下流分類タスクで最先端の性能を達成し、ベースラインモデルを 2.9–22% で上回った。

ABSTRACT

The source code of a program not only serves as a formal description of an executable task, but it also serves to communicate developer intent in a human-readable form. To facilitate this, developers use meaningful identifier names and natural-language documentation. This makes it possible to successfully apply sequence-modeling approaches, shown to be effective in natural-language processing, to source code. A major advancement in natural-language understanding has been the use of pre-trained token embeddings; BERT and other works have further shown that pre-trained contextual embeddings can be extremely powerful and can be fine-tuned effectively for a variety of downstream supervised tasks. Inspired by these developments, we present the first attempt to replicate this success on source code. We curate a massive corpus of Python programs from GitHub to pre-train a BERT model, which we call Code Understanding BERT (CuBERT). We also pre-train Word2Vec embeddings on the same dataset. We create a benchmark of five classification tasks and compare fine-tuned CuBERT against sequence models trained with and without the Word2Vec embeddings. Our results show that CuBERT outperforms the baseline methods by a margin of 2.9-22%. We also show its superiority when fine-tuned with smaller datasets, and over fewer epochs. We further evaluate CuBERT's effectiveness on a joint classification, localization and repair task involving prediction of two pointers.

研究の動機と目的

• 事前学習されたコンテキスト埋め込みが、自然言語処理で成功を収めたものであるように、ソースコードに対しても効果的に適用可能かどうかを検討すること。
• 下流の NLP スタイルのタスクに適した、コード内の構文的および意味的情報を効果的に捉える課題に対処すること。
• 意味のある識別子やドキュメンテーションなどの自然言語に類似したパターンを活用して、表現学習を向上させるモデルの開発。
• 分類、ロケーション、リペアを含む多様なコード理解タスクにおけるモデル性能の評価。
• コードインテリジェンスアプリケーションにおける転移学習の文脈で、大規模コードコーパスを用いた事前学習の有効性を示すこと。

提案手法

• GitHub から収集した 160 万件の Python ファイルからなる大規模コーパスを活用し、実世界のコードを用いてモデルを事前学習。
• コードに適応したマスク言語モデルと次文予測の目的関数を用いて、BERT ベースのアーキテクチャを微調整。
• 比較のため、同じデータセット上で事前学習された Word2Vec 埋め込みをベースラインとして用意。
• モデル性能を評価するため、5 つの異なるコード分類タスクを含むベンチマークを設計。
• 限られたラベル付きデータと少ない訓練エポック数で、CuBERT を微調整することで転移学習を適用。
• 分類、コードロケーションのポインタ予測、リペア予測を統合したジョイントタスクに対して CuBERT を評価。

実験結果

リサーチクエスチョン

• RQ1 BERT のような事前学習されたコンテキスト埋め込みが、ソースコード表現学習に効果的に適応可能か。
• RQ2 コード分類タスクにおいて、Word2Vec 埋め込みや他のシーケンスモデルを用いたベースラインモデルと比較して、CuBERT はどのように性能を発揮するか。
• RQ3 限られたラベル付きデータで下流タスクの性能を向上させるために、大規模コードコーパスを用いた事前学習がどの程度効果を発揮するか。
• RQ4 分類、ロケーション、リペアを含むマルチタスク学習のシナリオにおいて、CuBERT は効果的に一般化可能か。
• RQ5 少ないエポック数や小さなデータセットで微調整された場合でも、CuBERT は性能優位性を維持できるか。

主な発見

• CuBERT は 5 つの分類タスクすべてでベースラインモデルを上回り、F1 スコアで 2.9% から 22% の改善を達成した。
• 微調整時に小さなデータセットを用いても優れた性能を示し、事前学習による強力な一般化能力を裏付けた。
• 少ない訓練エポック数で優れた結果を達成したため、微調整における効率性が顕著に向上した。
• 分類、ロケーション、リペアを統合したジョイントタスクにおいても強力な効果を示し、2 つのポインタを正常に予測した。
• 大規模コードコーパスを用いた事前学習により表現品質が著しく向上し、同様の事前学習を行わないモデルを上回った。
• コード内に存在する自然言語に類似したパターン（例：意味のある識別子やドキュメンテーション）の統合が、本アプローチの成功に不可欠であった。