[論文レビュー] Project CodeNet: A Large-Scale AI for Code Dataset for Learning a Diversity of Coding Tasks

Ruchir Puri, David S. Kung+12 more|arXiv (Cornell University)|May 25, 2021

Advanced Malware Detection Techniques参考文献 34被引用数 37

ひとこと要約

Project CodeNetは、55のプログラミング言語と5億行以上のコードをカバーする1400万件のコードサンプルからなる大規模かつ多様なデータセットを提供し、AI for Code分野の研究を加速することを目的としています。このデータセットは、コード分類、類似性検出、翻訳、パフォーマンス最適化などのタスクをベンチマーク可能にし、統合済みのテストセットと前処理ツールを備えており、機械学習モデルへの直接入力が可能になっています。

ABSTRACT

Advancements in deep learning and machine learning algorithms have enabled breakthrough progress in computer vision, speech recognition, natural language processing and beyond. In addition, over the last several decades, software has been built into the fabric of every aspect of our society. Together, these two trends have generated new interest in the fast-emerging research area of AI for Code. As software development becomes ubiquitous across all industries and code infrastructure of enterprise legacy applications ages, it is more critical than ever to increase software development productivity and modernize legacy applications. Over the last decade, datasets like ImageNet, with its large scale and diversity, have played a pivotal role in algorithmic advancements from computer vision to language and speech understanding. In this paper, we present Project CodeNet, a first-of-its-kind, very large scale, diverse, and high-quality dataset to accelerate the algorithmic advancements in AI for Code. It consists of 14M code samples and about 500M lines of code in 55 different programming languages. Project CodeNet is not only unique in its scale, but also in the diversity of coding tasks it can help benchmark: from code similarity and classification for advances in code recommendation algorithms, and code translation between a large variety programming languages, to advances in code performance (both runtime, and memory) improvement techniques. CodeNet also provides sample input and output test sets for over 7M code samples, which can be critical for determining code equivalence in different languages. As a usability feature, we provide several preprocessing tools in Project CodeNet to transform source codes into representations that can be readily used as inputs into machine learning models.

研究の動機と目的

• AI for Code分野の発展に不可欠なスケーラブルで多様なデータセットの需要を満たし、コンピュータビジョン分野におけるImageNetの影響を模倣すること。
• 大規模かつ高品質なデータセットを通じて、コード推薦、コード翻訳、パフォーマンス最適化に関する研究を可能にすること。
• 複数のプログラミング言語間でのコード同等性を評価するための標準化されたテストセットを提供し、AIモデルの堅牢な評価を支援すること。
• 生のコードを機械学習モデルが扱える形式に変換する前処理ツールを提供することで、機械学習パイプラインへの直接統合を容易にすること。

提案手法

• GitHubの公開リポジトリから1400万件のコードサンプルを収集し、55のプログラミング言語と5億行以上のコードをカバー。
• プログラミング言語、タスクタイプ（例：分類、類似性検出）およびパフォーマンス特性を含むメタデータでコードサンプルをラベル付け。
• 700万件以上のコードサンプルについて、言語間での機能的同等性を評価できる入力・出力テストセットを提供。
• 深層学習モデルに適した構造化された表現に変換するための前処理ツールを開発。
• 幅広いオープンソースプロジェクトとソフトウェア開発タスクを含めることで、データの多様性を確保。
• コード翻訳、コード検索、パフォーマンス予測など、複数のAI for Codeタスクをサポートするようにデータセットを構造化。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ多様なデータセットが、複数のタスクにわたりAI for Code分野の進展を顕著に加速できるか？
• RQ2 Project CodeNetで訓練された既存のAIモデルは、コード分類、類似性検出、クロスリンガルコード翻訳においてどの程度の効果を発揮するか？
• RQ3 Project CodeNetに含まれるテストセットは、プログラミング言語間での機能的同等性の評価をどの程度向上できるか？
• RQ4 Project CodeNetの前処理ツールは、コードをディープラーニングパイプラインに統合するのをどの程度効果的に支援するか？
• RQ5 データセットの規模と多様性は、コード関連タスクにおけるAIモデルの一般化性能にどのような影響を及えるか？

主な発見

• Project CodeNetは、55のプログラミング言語をカバーする1400万件のコードサンプルと5億行以上のコードを含んでおり、AI for Code分野で最も大規模な既知のデータセットである。
• 700万件以上のコードサンプルについてテストセットを備えており、言語間でのコード同等性と機能的正しさの評価が堅牢に行える。
• 前処理ツールの導入により、コードを機械学習モデルの入力として直接利用可能となり、データ準備の障壁が低減される。
• コード分類、類似性検出、コード翻訳、パフォーマンス最適化など、多様なAI for Codeタスクをサポート。
• 標準化されたベンチマークと多様なコーディングタスクを提供することで、AI for Code分野における再現可能でスケーラブルな研究が可能になる。
• データセットの規模と多様性から、コンピュータビジョン分野におけるImageNetと同等の基盤的リソースとして位置づけられ、コードインテリジェンス分野におけるアルゴリズム的イノベーションを促進する可能性を有する。