[论文解读] Large Language Models Meet NL2Code: A Survey

Daoguang Zan, Bei Chen+6 more|arXiv (Cornell University)|Dec 19, 2022

Software Engineering Research被引用 4

一句话总结

本综述对27个用于自然语言到代码（NL2Code）的大规模语言模型（LLMs）进行了全面分析，识别出‘大模型规模、优质数据、专家微调’为关键成功因素。该研究在HumanEval基准上评估了模型性能，回顾了相关基准和评估指标，并推出了一个由社区维护的网站，以追踪该新兴领域的发展进展。

ABSTRACT

The task of generating code from a natural language description, or NL2Code, is considered a pressing and significant challenge in code intelligence. Thanks to the rapid development of pre-training techniques, surging large language models are being proposed for code, sparking the advances in NL2Code. To facilitate further research and applications in this field, in this paper, we present a comprehensive survey of 27 existing large language models for NL2Code, and also review benchmarks and metrics. We provide an intuitive comparison of all existing models on the HumanEval benchmark. Through in-depth observation and analysis, we provide some insights and conclude that the key factors contributing to the success of large language models for NL2Code are "Large Size, Premium Data, Expert Tuning". In addition, we discuss challenges and opportunities regarding the gap between models and humans. We also create a website https://nl2code.github.io to track the latest progress through crowd-sourcing. To the best of our knowledge, this is the first survey of large language models for NL2Code, and we believe it will contribute to the ongoing development of the field.

研究动机与目标

• 为专门针对NL2Code任务设计的27个大规模语言模型提供系统性综述。
• 分析这些模型在HumanEval基准上的表现，并识别关键成功因素。
• 回顾现有的NL2Code基准和评估指标，指出其中的不足与局限。
• 探讨大规模语言模型与人类程序员在代码生成质量与推理能力方面的差距。
• 建立一个由社区驱动的网站（nl2code.github.io），用于实时追踪进展并促进协作更新。

提出的方法

• 作者对27个在大规模代码语料库上训练、专用于NL2Code任务的最先进LLMs进行了全面调查。
• 他们使用标准化指标（包括pass@1和pass@10）在HumanEval基准上对所有模型进行了评估。
• 该研究深入分析了模型架构、训练数据质量、超参数调优及推理策略。
• 作者从模型规模、分词器类型、优化器、学习率和精度格式等多个维度对模型进行了比较。
• 他们提出了一张结构化对比表格，总结了包括模型规模、解码器类型、分词器、优化器和训练超参数在内的模型详细信息。
• 专门创建了一个网站（nl2code.github.io），以支持众包形式的模型性能追踪和新版本发布。

实验结果

研究问题

• RQ1 哪些架构和训练特征是LLMs在NL2Code任务中取得成功的关键？
• RQ2 不同LLMs在HumanEval等标准化基准上的表现如何？性能差异由哪些因素解释？
• RQ3 现有NL2Code基准和评估指标存在哪些局限与空白？
• RQ4 LLMs在代码生成质量与推理能力方面与人类程序员相比如何？
• RQ5 基于当前LLMs的能力，NL2Code领域未来最具前景的研究方向是什么？

主要发现

• 表现最佳的NL2Code LLM在HumanEval基准上的pass@1得分超过70%，其中Codex达到72.31%。
• LLMs在NL2Code任务中取得成功的主要原因在于‘大模型规模、优质数据、专家微调’，表明模型规模、高质量训练数据和精细的超参数调优至关重要。
• 如CodeGen、InCoder和SantaCoder等模型在零样本泛化方面表现优异，尤其在代码补全和中间填充任务中。
• 使用高质量、去重后的代码语料库以及先进的分词技术（如BBPE、SentencePiece）可显著提升模型性能。
• 尽管性能出色，LLMs在处理复杂、多步骤编程任务以及在模糊情境下的推理能力方面，与人类程序员之间仍存在显著差距。
• 该综述指出，目前缺乏标准化的多语言基准，大多数现有基准集中于Python，凸显了构建更广泛评估框架的迫切需求。