[论文解读] Codex Hacks HackerRank: Memorization Issues and a Framework for Code Synthesis Evaluation

Anjan Karmakar, Julian Aron Prenner+2 more|arXiv (Cornell University)|Dec 6, 2022

Software Engineering Research被引用 9

一句话总结

本文在115个HackerRank Python问题上评估了OpenAI的Codex模型，尽管零样本（96%）和 few-shot（100%）成功率很高，但仍揭示了显著的记忆行为。作者提出了一种基于变异的框架，系统评估代码生成的泛化能力，突出了大规模代码模型中记忆、偏见和隐私泄露的风险。

ABSTRACT

The Codex model has demonstrated extraordinary competence in synthesizing code from natural language problem descriptions. However, in order to reveal unknown failure modes and hidden biases, such large-scale models must be systematically subjected to multiple and diverse evaluation studies. In this work, we evaluate the code synthesis capabilities of the Codex model based on a set of 115 Python problem statements from a popular competitive programming portal: HackerRank. Our evaluation shows that Codex is indeed proficient in Python, solving 96% of the problems in a zero-shot setting, and 100% of the problems in a few-shot setting. However, Codex exhibits clear signs of generating memorized code based on our evaluation. This is alarming, especially since the adoption and use of such models could directly impact how code is written and produced in the foreseeable future. With this in mind, we further discuss and highlight some of the prominent risks associated with large-scale models of source code. Finally, we propose a framework for code-synthesis evaluation using variations of problem statements based on mutations.

研究动机与目标

• 调查Codex在从自然语言提示生成代码时是否表现出记忆行为。
• 通过受控变异测试，评估Codex在修改后的问题陈述上的泛化能力。
• 识别大规模代码模型相关的风险，包括记忆、偏见和隐私泄露。
• 提出一种基于问题陈述变异的系统性评估框架，用于代码生成模型。
• 通过提高大型语言模型在软件工程场景中代码生成的可靠性和透明度。

提出的方法

• 作者从HackerRank收集了115个Python问题陈述，作为代码生成评估的基准。
• 对问题描述应用受控变异——修改输入输出规范、问题措辞和变量名称——以测试泛化能力。
• 在零样本和few-shot设置下，使用不同温度设置，向Codex提供原始和变异版本的问题。
• 评估模型输出的正确性、记忆行为以及对输入变化的敏感性。
• 本研究提出了一种基于变异的评估框架，以系统检测记忆行为和泛化失败。
• 该框架应用于多种问题类型，包括字符串操作、算术逻辑和哈希，以评估鲁棒性。

实验结果

研究问题

• RQ1 当使用修改后的问题陈述提示时，Codex在多大程度上生成的是记忆代码而非新解决方案？
• RQ2 当问题描述中的输入输出规范被省略或修改时，Codex的性能如何变化？
• RQ3 当面对语义等价但语法不同的问题表述时，Codex的失败模式是什么？
• RQ4 当仅提供部分或模糊的问题描述时，模型的行为如何变化？
• RQ5 记忆行为对大型语言模型生成代码的可靠性、安全性和隐私性有何影响？

主要发现

• Codex在原始HackerRank问题上的零样本生成成功率达到96%，few-shot设置下为100%，表明其基线性能强劲。
• 尽管成功率很高，Codex在输入输出示例被省略时仍频繁生成与原始问题规范匹配的代码，表明存在记忆行为。
• 在某些情况下，Codex仅根据问题描述的第一句话就生成了正确代码，表明其依赖记忆模式而非推理能力。
• 在涉及字符串编码的变异问题中，Codex仅对67%的变体正确生成了解决方案，表明其在输入变化下表现脆弱。
• Codex对自然语言输入的解释不一致——例如，将“twenty-three”误读为2-3而非23——表明其对措辞变化敏感。
• 本研究表明，HackerRank等标准基准可能因模型对训练数据中常见代码模式的记忆而存在偏差。