[論文レビュー] CodeXGLUE: A Machine Learning Benchmark Dataset for Code Understanding and Generation

Shuai Lu, Daya Guo+20 more|arXiv (Cornell University)|Feb 9, 2021

Software Engineering Research参考文献 98被引用数 415

ひとこと要約

CodeXGLUE は、プログラム理解と生成のための 10 のタスクを含む 14 のデータセットのベンチマークと、モデルを評価・比較するための 3 つのベースライン（CodeBERT、CodeGPT、Encoder-Decoder フレームワーク）を提示します。

ABSTRACT

Benchmark datasets have a significant impact on accelerating research in programming language tasks. In this paper, we introduce CodeXGLUE, a benchmark dataset to foster machine learning research for program understanding and generation. CodeXGLUE includes a collection of 10 tasks across 14 datasets and a platform for model evaluation and comparison. CodeXGLUE also features three baseline systems, including the BERT-style, GPT-style, and Encoder-Decoder models, to make it easy for researchers to use the platform. The availability of such data and baselines can help the development and validation of new methods that can be applied to various program understanding and generation problems.

研究の動機と目的

• コード理解と生成におけるML研究を加速するための多様なベンチマークを確立する。
• 複数のプログラミングタスクと言語に跨る評価とモデル比較のための統一プラットフォームを提供する。
• コード知能研究に参入する研究者のハードルを下げるための即利用可能なベースラインを提供する。

提案手法

• 新たに導入された Cloze テスト、行レベルのコード補完、コード翻訳、コード検索、文書翻訳を含む、複数の言語にまたがる 10 タスクをカバーする 14 のデータセットを収集する。
• 3 種類のベースラインモデルファミリーを提供する：BERT 風のエンコーダ（CodeBERT）、GPT 風のデコーダ（CodeGPT）、シーケンスツーシーケンス tasks 用の Encoder-Decoder フレームワーク。
• CodeXGLUE タスク上でこれらのベースラインの事前学習とファインチューニングを行い、強力な性能ベースラインを確立する。
• 各タスクのデータ品質を保証するための、トークン化、語彙の選択、フィルタリングなどのデータ処理手順を説明する。
• タスクと言語を跨ぐ標準化評価と比較のためのプラットフォームを提案する。
• BigCloneBench、POJ-104、CodeSearchNet、CONCODE、Microsoft Docs の翻訳など、確立されたデータセットで実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 多様なコード理解と生成タスクを横断する統一ベンチマークは、コードのML研究の進展を促進できるか？
• RQ2 コード関連タスクの広範なセットに対する標準的な事前学習モデルのベースライン性能はどの程度か？
• RQ3 コード特化型事前学習モデル（CodeBERT、CodeGPT）は、クローン検出、欠陥検出、コード補完、関連タスクで従来のベースラインとどう比較されるか？

主な発見

モデル	F1	MAP	総合
RoBERTa	94.9	79.96	87.4
CodeBERT	96.5	84.29	90.4

• CodeBERT は BigCloneBench/CodeBERT で RoBERTa ベースラインと比較して総合スコア 90.4 を達成し、クローン検出で高い性能を示す。
• CodeBERT と CodeGPT のベースラインは複数のタスクで競争力のある性能を示しており、コードに対する事前学習済みの言語認識表現の利点を示している。
• 欠陥検出の結果は CodeBERT が 62.08% の精度を示し、事前学習モデルが従来のベースラインに比べて顕著な改善をもたらすことを示す。
• CTL の結果（Cloze テスト）は CodeBERT が RoBERTa を複数の言語と CT 設定で上回り、コード理解能力の高さを強調している。
• このベンチマークは、事前学習モデルがコード関連タスクを改善することを示すが、さらなる向上のためにはコード構造をより活用する余地がある。