[论文解读] Exploring the Verifiability of Code Generated by GitHub Copilot

Dakota Wong, Austin Kothig+1 more|arXiv (Cornell University)|Sep 5, 2022

Software Engineering Research被引用 4

一句话总结

本研究通过使用 Dafny 对手写规格说明进行形式化验证，评估了 GitHub Copilot 生成代码的可验证性。在六项实现中，有四项成功通过验证，表明虽然 Copilot 能生成可用代码，但仍需专家级验证，不应在未经严格验证的情况下被完全信任。

ABSTRACT

GitHub's Copilot generates code quickly. We investigate whether it generates good code. Our approach is to identify a set of problems, ask Copilot to generate solutions, and attempt to formally verify these solutions with Dafny. Our formal verification is with respect to hand-crafted specifications. We have carried out this process on 6 problems and succeeded in formally verifying 4 of the created solutions. We found evidence which corroborates the current consensus in the literature: Copilot is a powerful tool; however, it should not be "flying the plane" by itself.

研究动机与目标

• 评估使用自动化验证工具对 GitHub Copilot 生成代码的形式化可验证性。
• 确定 Copilot 生成的代码是否通过形式化规格说明和证明满足正确性要求。
• 评估在不进行验证的情况下将 Copilot 生成的代码集成到生产系统中的可行性。
• 探索开发者在验证 AI 生成代码时面临的挑战，尤其是递归或复杂算法。
• 理解 Copilot 在生成既正确又易于形式化验证的代码方面的局限性。

提出的方法

• 从 LeetCode 中选取六个算法问题作为测试用例，包括二分查找和最大堆化（max-heapify）。
• 使用 GitHub Copilot 基于自然语言提示生成 Python 实现。
• 手写 Dafny 规格说明，以描述每个算法的预期行为。
• 应用 Dafny 的验证框架，检查 Copilot 的实现是否满足规格说明。
• 使用 Python 作为中介转换，以避免 Dafny 在指针算术和内存管理方面的复杂性。
• 聚焦于识别不变量和循环结构，以指导验证过程，特别是针对递归实现。

实验结果

研究问题

• RQ1 Dafny 能否基于手写规格说明对 GitHub Copilot 生成的代码进行形式化验证？
• RQ2 有多少比例的 Copilot 生成实现成功通过验证？哪些因素影响了验证的成功？
• RQ3 在验证 AI 生成代码时，主要挑战是什么，尤其是针对递归或非平凡算法？
• RQ4 在可验证性和正确性方面，Copilot 生成的代码与人工编写的代码相比如何？
• RQ5 Copilot 的训练数据在多大程度上影响其生成知名算法问题可验证代码的能力？

主要发现

• 六项 Copilot 生成的实现中有四项成功通过 Dafny 的形式化验证，表明部分 AI 生成的代码具备可形式化验证的潜力。
• 对递归实现（如 max-heapify 函数）的验证尤其具有挑战性，尽管代码可能正确，但验证过程未能完成。
• Copilot 生成了次优甚至错误的解决方案，例如在 max-heapify 案例中，表明并非所有生成代码都适合直接使用。
• Dafny 缺乏对平方根的支持，引入了工具特定的限制，但该问题在大多数情况下并未阻止验证。
• 验证的成功与否在很大程度上取决于不变量的清晰度和代码结构，迭代实现比递归实现更容易验证。
• 本研究表明，尽管 Copilot 能加速原型开发，但必须经过严格审查，包括形式化验证或大量测试，方可使用。