[論文レビュー] Large Language Models Meet NL2Code: A Survey

Daoguang Zan, Bei Chen+6 more|arXiv (Cornell University)|Dec 19, 2022

Software Engineering Research被引用数 4

ひとこと要約

本サーベイは、自然言語からコードへの変換（NL2Code）を目的とした27の大規模言語モデル（LLM）について包括的な分析を提供し、『大規模、高品質データ、熟練したチューニング』が成功の鍵であると特定している。モデルはHumanEvalベンチマークで評価され、ベンチマークと評価指標のレビューが行われ、この分野における進展を追跡するためのコミュニティ主導のウェブサイトが新たに設立された。

ABSTRACT

The task of generating code from a natural language description, or NL2Code, is considered a pressing and significant challenge in code intelligence. Thanks to the rapid development of pre-training techniques, surging large language models are being proposed for code, sparking the advances in NL2Code. To facilitate further research and applications in this field, in this paper, we present a comprehensive survey of 27 existing large language models for NL2Code, and also review benchmarks and metrics. We provide an intuitive comparison of all existing models on the HumanEval benchmark. Through in-depth observation and analysis, we provide some insights and conclude that the key factors contributing to the success of large language models for NL2Code are "Large Size, Premium Data, Expert Tuning". In addition, we discuss challenges and opportunities regarding the gap between models and humans. We also create a website https://nl2code.github.io to track the latest progress through crowd-sourcing. To the best of our knowledge, this is the first survey of large language models for NL2Code, and we believe it will contribute to the ongoing development of the field.

研究の動機と目的

• NL2Codeタスクに特化した27の大規模言語モデルについて、体系的なレビューを提供すること。
• これらのモデルがHumanEvalベンチマークで示すパフォーランスを分析し、成功要因を同定すること。
• NL2Code用の既存のベンチマークと評価指標をレビューし、不足点や制限を明らかにすること。
• LLMと人間のプログラマーとの間のコード生成におけるパフォーマンス格差を検討すること。
• リアルタイムでの進捗追跡と共同更新を促進するため、コミュニティ主導のウェブサイト（nl2code.github.io）を構築すること。

提案手法

• 著者らは、大規模なコードコーパスでトレーニングされた27の最先端LLMを包括的に調査した。
• 標準化された指標（pass@1およびpass@10を含む）を用いて、全モデルをHumanEvalベンチマークで評価した。
• モデルアーキテクチャ、トレーニングデータの品質、ハイパーパrameterチューニング、推論戦略についての詳細な分析を実施した。
• モデルサイズ、トークナイザーの種別、最適化手法、学習率、精度フォーマットなどの次元でモデルを比較した。
• モデルサイズ、デコーダータイプ、トークナイザー、最適化手法、トレーニングハイパーパramータを含むモデル詳細を要約した構造化された比較表を提示した。
• モデルパフォーマンスと新規リリースのクラウドソースド追跡を支援するため、専用のウェブサイト（nl2code.github.io）を構築した。

実験結果

リサーチクエスチョン

• RQ1 LLMがNL2Codeで成功する要因となる主なアーキテクチャ的・トレーニング的特徴は何か？
• RQ2 異なるLLMがHumanEvalのような標準化されたベンチマークでどのようにパフォーマンスを示し、パフォーマンス差の背後にある要因は何か？
• RQ3 NL2Code用の既存ベンチマークと評価指標における現在の制限やギャップは何か？
• RQ4 LLMは、コード生成の質と推論能力において、人間のプログラマーと比べてどの程度の差があるか？
• RQ5 LLMの現在の能力を踏まえた場合、NL2Code分野における今後の研究で最も有望な方向性は何か？

主な発見

• NL2Codeで最も優れたパフォーマンスを示したLLMは、HumanEvalベンチマークでpass@1スコア70％以上を達成しており、特にCodexは72.31％を記録した。
• LLMがNL2Codeで成功する主な要因は『大規模、高品質データ、熟練したチューニング』であると判明した。これは、モデル規模、高品質なトレーニングデータ、および慎重なハイパーパramータチューニングが不可欠であることを示している。
• CodeGen、InCoder、SantaCoderなどのモデルは、特にコード補完や途中埋め込みタスクにおいて優れたゼロショット一般化性能を示した。
• 高品質で重複除去されたコードコーパスの使用、および高度なトークナイゼーション（例：BBPE、SentencePiece）の導入が、モデルパフォーマンスの向上に顕著に寄与した。
• 強力なパフォーマンスを示す一方で、複雑で複数ステップにわたるプログラミングタスクや曖昧さの下での推論処理において、LLMと人間のプログラマーとの間には顕著な格差が残っている。
• 本サーベイでは、標準的で多言語対応のベンチマークが不足しており、現行の多くがPythonに限定されていることから、より広範な評価フレームワークの必要性が浮き彫りになった。