[論文レビュー] A Survey on Pretrained Language Models for Neural Code Intelligence

Yichen Xu, Yanqiao Zhu|arXiv (Cornell University)|Dec 20, 2022

Software Engineering Research被引用数 7

ひとこと要約

本サーベイは、ニューラルコードインテリジェンス（NCI）のための事前学習言語モデルについて、モデルアーキテクチャ、事前学習技術、下流タスク、データセット、課題を網羅的にレビューする。これらのモデルがコード要約、生成、翻訳において最先端のパフォーマンスを達成していることを強調しつつ、構造的バイアスの統合が限定的であることや、プロジェクトスケールのコード理解が不十分であるという主なギャップを特定している。

ABSTRACT

As the complexity of modern software continues to escalate, software engineering has become an increasingly daunting and error-prone endeavor. In recent years, the field of Neural Code Intelligence (NCI) has emerged as a promising solution, leveraging the power of deep learning techniques to tackle analytical tasks on source code with the goal of improving programming efficiency and minimizing human errors within the software industry. Pretrained language models have become a dominant force in NCI research, consistently delivering state-of-the-art results across a wide range of tasks, including code summarization, generation, and translation. In this paper, we present a comprehensive survey of the NCI domain, including a thorough review of pretraining techniques, tasks, datasets, and model architectures. We hope this paper will serve as a bridge between the natural language and programming language communities, offering insights for future research in this rapidly evolving field.

研究の動機と目的

• 自然言語処理（NLP）コミュニティとプログラミング言語コミュニティの間のギャップを埋めるために、コードインテリジェンスのための事前学習言語モデルに関する研究を統合すること。
• ニューラルコードインテリジェンスにおける、既存の事前学習技術、モデルアーキテクチャ、学習パラダイムを体系的に分類・分析すること。
• NCI研究で用いられる下流タスクとベンチマークデータセットをレビューし、今後のモデル開発の基盤を提供すること。
• 現実のコードベースにおけるプログラム構造、実行時意味論、モジュール間依存関係のモデリングが不十分であるという、重要な課題を特定すること。
• 従来のタスクを超えた、数学的問題解決や自動コード教育ツールなど、コード言語モデルの新たな応用を検討すること。

提案手法

• NCI分野における2212.10079および関連研究の体系的文献レビューを実施し、シーケンスベースの言語モデリングアプローチに焦点を当てる。
• コード言語モデリングに用いられるTransformerおよびその変種を含むモデルアーキテクチャを分類・分析する。
• 大規模なコードコーパス（GitHubなど）に適用されたマスクド言語モデリングや因果的言語モデリングなどの事前学習目的を検討する。
• コード要約、コード生成、コード翻訳、欠陊検出などの下流タスクを、それに対応するデータセットと評価指標にマッピングする。
• 構造的情報（例：AST、制御/データフロー）がモデルパフォーマンス向上に果たす役割を評価し、このようなバイアス統合における現在の制限を指摘する。
• 実行時意味論や実行トレースを活用することで、特に定理証明のような複雑なタスクにおけるプログラム理解と合成の向上が可能になる可能性を議論する。

実験結果

リサーチクエスチョン

• RQ1 事前学習言語モデルは、コード要約や生成といった主要なNCIタスクにおいて、どのようにパフォーマンスを向上させているか？
• RQ2 最先端のコード言語モデルで一般的に使われている主なモデルアーキテクチャと事前学習戦略は何か？
• RQ3 現在のモデルは、トークンレベルのシーケンスを越えて、構造的または意味的プログラム情報（例：AST）をどの程度統合しているか？
• RQ4 相互に依存する複数ファイルを含む実世界のソフトウェアプロジェクトにスケーリングする際、NCIモデルにどのような主な制限があるか？
• RQ5 従来のソフトウェア工学タスクを超えた、コード言語モデルの新たな応用は何か？

主な発見

• 事前学習言語モデルは、コード要約、生成、翻訳など、幅広いNCIタスクで最先端のパフォーマンスを達成している。
• Codexのようなモデルは、GitHub Copilotの実装や、数学的単語問題、オリンピックレベルの定理の証明といった複雑な問題解決において、驚異的なプログラム合成能力を示している。
• 進展は見られるものの、依然として多くのモデルがプログラム構造（例：AST）や実行時意味論の有効な統合を欠いており、複雑なコードベースにおける一般化能力の制限要因となっている。
• 現在のモデルは主に孤立したコードスニペットで学習されているため、ファイル間やプロジェクトレベルの依存関係をモデル化することが難しく、実世界のソフトウェア開発には不可欠な要因である。
• コード言語モデルは、従来のNLPタスクを超えて、自動定理証明（GPT-f）、教育分野（カリキュラム資料生成）、ロボットのタスク計画などに成功裏に応用されている。
• 倫理的懸念は未解決のままであり、特にライセンスや貢献者の権利を十分に考慮しないままオープンソースコードを学習に使用する問題が指摘されている。