[論文レビュー] Learning and Evaluating Contextual Embedding of Source Code

Aditya Kanade, Petros Maniatis+2 more|arXiv (Cornell University)|Dec 21, 2019

Software Engineering Research被引用数 156

ひとこと要約

CuBERTは大規模なデデュプリケーション済みGitHubコーパス上でPythonコードの文脈的埋め込みを事前学習し、複数のコード理解タスクで微調整済みの性能が高く、Word2Vecのベースライン、BiLSTM、およびスクラッチのTransformerを上回り、データ効率の高い学習を示す。

ABSTRACT

Recent research has achieved impressive results on understanding and improving source code by building up on machine-learning techniques developed for natural languages. A significant advancement in natural-language understanding has come with the development of pre-trained contextual embeddings, such as BERT, which can be fine-tuned for downstream tasks with less labeled data and training budget, while achieving better accuracies. However, there is no attempt yet to obtain a high-quality contextual embedding of source code, and to evaluate it on multiple program-understanding tasks simultaneously; that is the gap that this paper aims to mitigate. Specifically, first, we curate a massive, deduplicated corpus of 7.4M Python files from GitHub, which we use to pre-train CuBERT, an open-sourced code-understanding BERT model; and, second, we create an open-sourced benchmark that comprises five classification tasks and one program-repair task, akin to code-understanding tasks proposed in the literature before. We fine-tune CuBERT on our benchmark tasks, and compare the resulting models to different variants of Word2Vec token embeddings, BiLSTM and Transformer models, as well as published state-of-the-art models, showing that CuBERT outperforms them all, even with shorter training, and with fewer labeled examples. Future work on source-code embedding can benefit from reusing our benchmark, and from comparing against CuBERT models as a strong baseline.

研究の動機と目的

• ソースコードの表現学習をNLPのBERTに類似した文脈埋め込みを用いて改善する動機づけ。
• CuBERTの事前学習用に大規模でデデュプリケーション済みのPythonコーパスを作成する。
• 分類とプログラム修正タスクを網羅した統合的なPythonコードベンチマークを設計する。
• CuBERTを強力なベースライン（Word2Vec、BiLSTM、Transformer）および最先端手法と比較評価する。
• 将来の研究とベンチマークの再利用を可能にするモデルとデータセットを公開する。

提案手法

• デデュプリケーション済み7.4M Pythonファイルコーパス（9.3Bトークン）をPython固有のトークン化とサブワード語彙でCuBERTを事前学習させる。
• CuBERTを行ベースのコード入力として扱い、BERTスタイルの MLMとNext-Sentence Prediction目的を用いる。1行は論理的なコード行と見なす。
• 5つの分類タスクと1つのポインタベースの変数誤用局在化/修復タスクでCuBERTを微調整する。
• CuBERTをWord2VecベースのBiLSTMやスクラッチで訓練したTransformer、および公開済みの最先端モデルと比較する。
• データ効率とコンテキスト効果を評価するため、異なる例長と微調整データ予算で評価する。
• ベンチマーク再利用のためのオープンソースコードとデータセットを提供する。

実験結果

リサーチクエスチョン

• RQ1 unlabeledコードで事前学習した際に文脈埋込みはソースコード分析を改善するか？
• RQ2 Transformerベースのモデルを微調整することでスクラッチでの学習以上の利点が得られるか？
• RQ3 限られたタスク固有ラベルデータでCuBERTの性能はどうスケールするか？
• RQ4 コンテキストサイズ（例の長さ）がコードタスクにおけるCuBERTの性能にどう影響するか？
• RQ5 CuBERTは従来の最先端と比較して変数の誤用局在化/修復のような複雑なタスクでどの程度性能を発揮するか？

主な発見

Model	Misuse	Operator	Operand	Docstring	Exception
BiLSTM From scratch	76.2927%	83.648163%	88.07047%	76.010776%	52.78638%
CBOW ns	80.32751%	86.81924%	89.797926%	89.075357%	67.008513%
CuBERT 2 epochs	94.042%	89.89658%	92.198956%	97.20764%	61.039084%
CuBERT 10 epochs	95.13968%	92.150164%	93.622464%	98.07754%	77.9702%
CuBERT 20 epochs	95.213145%	92.46354%	93.35517%	98.08504%	79.12152%
Transformer 100 epochs	78.28434%	76.554555%	87.82762%	91.017634%	49.56463%

• CuBERTは最良のWord2Vec埋め込みを用いたBiLSTMを全分類タスクで一貫して上回り、テスト精度は3.2%〜14.7%の範囲で向上した。
• CuBERTはわずか2–20の微調整エポックで強力な結果を示し、データ全量のベースラインに近づくか超える。
• タスクデータの33%–100%で微調整したCuBERTは、全データセットを用いたベースラインと比較して競合的または優れた性能を示す。
• CuBERTは変数誤用局在化と修復タスクで最先端モデルを大きく上回る。
• スクラッチから訓練したトランスフォーマーと比較すると、CuBERT（事前学習+微調整）ははるかに高い精度を示し、コード表現の事前学習の価値を示している。
• 著者は将来の研究の促進のため、オープンソースのモデルとベンチマークを提供している。