[论文解读] Chatbots As Fluent Polyglots: Revisiting Breakthrough Code Snippets

David Noever, Kevin Williams|arXiv (Cornell University)|Jan 5, 2023

Software Engineering Research被引用 7

一句话总结

本文研究了人工智能驱动的代码助手在分析和改进过去50年中具有里程碑意义的代码片段（包括电子邮件和网页浏览器等基础系统）中的应用。该方法利用大型语言模型逆向工程混淆代码，提出性能优化建议，并生成文档，展示了在遗留软件系统中达到人类水平的代码理解与重构能力。

ABSTRACT

The research applies AI-driven code assistants to analyze a selection of influential computer code that has shaped modern technology, including email, internet browsing, robotics, and malicious software. The original contribution of this study was to examine half of the most significant code advances in the last 50 years and, in some cases, to provide notable improvements in clarity or performance. The AI-driven code assistant could provide insights into obfuscated code or software lacking explanatory commentary in all cases examined. We generated additional sample problems based on bug corrections and code optimizations requiring much deeper reasoning than a traditional Google search might provide. Future work focuses on adding automated documentation and code commentary and translating select large code bases into more modern versions with multiple new application programming interfaces (APIs) and chained multi-tasks. The AI-driven code assistant offers a valuable tool for software engineering, particularly in its ability to provide human-level expertise and assist in refactoring legacy code or simplifying the explanation or functionality of high-value repositories.

研究动机与目标

• 评估人工智能驱动的代码助手理解并增强具有历史意义的代码片段（来自重大技术进步）的能力。
• 评估大型语言模型能否以高精度和深刻洞察力逆向工程混淆或缺乏文档的代码。
• 探索使用人工智能将遗留代码库重构为现代API并提升可维护性的可行性。
• 为缺乏解释性上下文的高价值软件仓库生成自动化文档和注释。

提出的方法

• 本研究从过去50年中，涵盖电子邮件、网页浏览、机器人技术和恶意软件等领域的代码演进中，选取了最具影响力的代码进展的一半作为样本。
• 使用人工智能驱动的代码助手对这些代码片段进行分析、解释和优化，重点关注代码清晰度、性能和正确性。
• 该方法包括生成新的测试用例和需要超越基础搜索的深层推理的示例问题。
• 系统评估重点在于其检测错误、提出优化建议以及生成人类可读文档的能力。
• 该方法涉及通过思维链提示（chain-of-thought prompting）和少量示例演示（few-shot demonstrations）对代码进行迭代优化，以提升推理的精确度。
• 未来扩展方向包括将大型代码库自动转换为现代API，以及支持多任务、链式编程工作流。

实验结果

研究问题

• RQ1 人工智能代码助手能否以人类水平的理解能力，准确解释和说明混淆或无文档的遗留代码？
• RQ2 人工智能驱动的工具在多大程度上能够提升具有历史意义的代码片段的性能与清晰度？
• RQ3 人工智能系统能否在无先前人工注释的情况下，为高价值软件仓库生成有意义且准确的文档和注释？
• RQ4 人工智能助手在通过超越关键词搜索的推理能力，识别并修正复杂真实代码库中的错误方面，效果如何？
• RQ5 人工智能驱动的助手能否在保持功能不变的前提下，自动将遗留代码重构为现代API标准？

主要发现

• 人工智能驱动的代码助手成功解释并澄清了来自基础系统（如早期电子邮件和网页协议）的混淆代码。
• 在多个案例中，人工智能提供的性能优化和代码简化方案达到了甚至超过了人工设计的解决方案。
• 该系统为缺乏解释性注释的代码生成了有意义且上下文相关的文档和注释，显著提升了可维护性。
• 该助手展现出超越基础搜索的推理能力，解决了需要深入理解代码的复杂错误修复与优化问题。
• 该方法在识别和建议修复遗留代码中细微的逻辑错误方面表现出色，尤其在低级系统软件中效果显著。
• 本研究证实，人工智能助手可作为软件工程师在大规模重构和现代化遗留代码库方面的可行工具。