[论文解读] Benchmarking and Explaining Large Language Model-based Code Generation: A Causality-Centric Approach

Zhenlan Ji, Pingchuan Ma+2 more|arXiv (Cornell University)|Oct 10, 2023

Software Engineering Research被引用 4

一句话总结

本文提出了一种以因果关系为核心的框架，通过建模自然语言提示与生成代码之间的因果关系，评估并解释基于大语言模型（LLM）的代码生成。利用一种新颖的因果图表示方法和基于DiBS的因果分析，该方法揭示了提示重述如何影响BLEU分数等代码质量指标，为通过提示工程改进代码生成提供了可操作的洞察。

ABSTRACT

While code generation has been widely used in various software development scenarios, the quality of the generated code is not guaranteed. This has been a particular concern in the era of large language models (LLMs)- based code generation, where LLMs, deemed a complex and powerful black-box model, is instructed by a high-level natural language specification, namely a prompt, to generate code. Nevertheless, effectively evaluating and explaining the code generation capability of LLMs is inherently challenging, given the complexity of LLMs and the lack of transparency. Inspired by the recent progress in causality analysis and its application in software engineering, this paper launches a causality analysis-based approach to systematically analyze the causal relations between the LLM input prompts and the generated code. To handle various technical challenges in this study, we first propose a novel causal graph-based representation of the prompt and the generated code, which is established over the fine-grained, human-understandable concepts in the input prompts. The formed causal graph is then used to identify the causal relations between the prompt and the derived code. We illustrate the insights that our framework can provide by studying over 3 popular LLMs with over 12 prompt adjustment strategies. The results of these studies illustrate the potential of our technique to provide insights into LLM effectiveness, and aid end-users in understanding predictions. Additionally, we demonstrate that our approach provides actionable insights to improve the quality of the LLM-generated code by properly calibrating the prompt.

研究动机与目标

• 为解决基于大语言模型的代码生成在提示敏感性方面的系统性评估与解释缺失问题。
• 通过识别提示变化对代码质量的因果影响，而非依赖黑箱指标，来克服大语言模型的不透明性。
• 为开发者提供可操作的、人类可理解的洞察，以通过提示校准改进生成代码。
• 建立一种可泛化、与语言无关的因果分析框架，用于大语言模型代码生成。

提出的方法

• 提出一种新颖的基于因果图的表示方法，将提示和生成代码中的细粒度语言特征与代码特征映射为结构化、可分析的形式。
• 通过语言特征（如长度、正式程度）和代码特征（如复杂度、语法模式）对提示和代码输出进行量化，以支持数值化的因果分析。
• 应用DiBS算法，估计重述指令（如“让它更长”、“更技术性”）对代码质量指标的平均处理效应（ATE）。
• 利用ATE估计结果，识别出对代码质量影响最显著的提示特征，从而实现对模型行为的因果解释。
• 采用基于大语言模型的提示重述方法，为同一意图生成多样化的提示变体，实现在多种配置下的受控因果分析。
• 在APPS数据集上将该框架集成应用于三种大语言模型——GPT-Neo、GPT-3.5-Turbo和GPT-4，以确保结果的稳健性与泛化能力。

实验结果

研究问题

• RQ1 哪些提示重述策略在BLEU及其他指标上最显著地提升了代码生成质量？
• RQ2 提示中特定的语言特征与生成代码质量之间的因果关系是什么？
• RQ3 不同大语言模型（GPT-Neo、GPT-3.5-Turbo、GPT-4）对相同提示变化在代码质量和稳定性方面的响应有何差异？
• RQ4 因果分析能否识别出导致高质量代码输出的提示特征，以及导致低质量或错误输出的提示特征？
• RQ5 在因果洞察的指导下，提示校准在多大程度上能改善多种大语言模型的代码生成结果？

主要发现

• 提示重述策略“让它更长”使GPT-3.5-Turbo的BLEU分数提升了+0.0531，GPT-4的BLEU分数提升了+0.0753，表明在代码相似性方面具有统计显著的正面影响。
• “让它更技术性”这一指令使GPT-3.5-Turbo的BLEU分数提升了+0.0297，GPT-4的BLEU分数提升了+0.0362，表明提示中的正式程度和技术性可提升代码质量。
• GPT-4在所有重述策略下均持续优于GPT-3.5-Turbo和GPT-Neo，且在“Ours”重述策略下表现出最高的BLEU分数。
• 原始提示往往导致比重述版本更低的BLEU分数，表明提示工程可显著改善代码生成结果。
• 因果分析揭示，特定语言特征（如长度和技术性）对代码质量具有可测量且可操作的影响，从而支持针对性的提示优化。
• 该框架成功识别出某些提示重述会导致负面效果（例如，GPT-Neo在“让它更长”指令下BLEU分数下降-0.1367），突显了无指导提示修改的风险。