[论文解读] Copilot for Xcode: Exploring AI-Assisted Programming by Prompting Cloud-based Large Language Models

Chee Wei Tan, Shangxin Guo+2 more|arXiv (Cornell University)|Jul 8, 2023

Software Engineering Research被引用 5

一句话总结

本文介绍了 Copilot for Xcode，这是一款将云原生大型语言模型（LLMs）如 GitHub Copilot 和 OpenAI GPT 集成到 Apple 的 Xcode IDE 中的 AI 辅助编程工具。通过在聊天界面中实现实时提示工程，该工具显著提升了代码生成、自动补全、文档编写和错误检测的效率，大幅增强了在 Apple 生态系统中开发的生产力与创造力。

ABSTRACT

This paper presents an AI-assisted programming tool called Copilot for Xcode for program composition and design to support human software developers. By seamlessly integrating cloud-based Large Language Models (LLM) with Apple's local development environment, Xcode, this tool enhances productivity and unleashes creativity for software development in Apple software ecosystem (e.g., iOS apps, macOS). Leveraging advanced natural language processing (NLP) techniques, Copilot for Xcode effectively processes source code tokens and patterns within code repositories, enabling features such as code generation, autocompletion, documentation, and error detection. Software developers can also query and make "small" decisions for program composition, some of which can be made simultaneously, and this is facilitated through prompt engineering in a chat interface of Copilot for Xcode. Finally, we present simple case studies as evidence of the effectiveness of utilizing NLP in Xcode to prompt popular LLM services like OpenAI ChatGPT for program composition and design.

研究动机与目标

• 为应对 Apple 软件生态系统中日益增长的智能、交互式编程助手需求，以简化开发流程。
• 通过将 LLM 集成到本地 Xcode 环境中，弥合人类级编程创造力与 AI 驱动代码建议之间的差距。
• 评估提示工程在引导 LLM 生成正确、上下文感知代码方面的作用，特别是在 iOS 和 macOS 开发场景中的表现。
• 展示 AI 辅助工具如何在不取代人类开发者的情况下提升软件开发效率，重点关注 SwiftUI 和算法设计中的实际应用场景。

提出的方法

• 通过中间件层将基于云的 LLM（GitHub Copilot、OpenAI GPT）与 Apple 的 Xcode IDE 集成，作为用户提示与 LLM API 之间的中介。
• 在基于聊天的界面中应用提示工程，使开发者能够通过自然语言请求实现代码生成、自动补全和调试。
• 处理代码仓库中的源代码标记和模式，以提升 LLM 生成建议的上下文理解力与相关性。
• 利用无服务器计算能力，实现在 IDE 内低延迟响应的同时按需访问 LLM 服务。
• 采用非传统方法绕过 Xcode 中的沙盒限制，以获取文件和项目路径，从而增强代码上下文感知能力。
• 以 C 语言注释格式呈现代码建议，以避免语法冲突，但可能破坏 JSON 等非代码文件。

Figure 1 : An overview of the AI-assisted programming application, Copilot for Xcode modeled as an intermediary software entity to connect user requests (e.g., prompt tokens) with cloud-based large language models.

实验结果

研究问题

• RQ1 云原生 LLM 如何有效集成到 Apple 的 Xcode IDE 中，以支持 AI 辅助编程任务？
• RQ2 在真实世界的 iOS 和 macOS 开发场景中，提示工程在多大程度上影响 LLM 生成代码的正确性与相关性？
• RQ3 AI 辅助工具如 Copilot for Xcode 是否能提升基于 SwiftUI 的应用开发中的开发效率与代码质量？
• RQ4 当前 LLM 集成在本地 IDE 中存在哪些局限性，特别是关于沙盒限制、文件格式处理和上下文感知能力方面？

主要发现

• Copilot for Xcode 成功实现在 Xcode 内部的实时、提示驱动代码生成与自动补全，显著减少了常见任务的手动编码工作量。
• 当明确提示要求时，该工具在无需依赖 HCF 的情况下正确生成了 LCM 计算的复杂代码，显示出精确提示工程的显著影响。
• 在基于 SwiftUI 的导航应用开发中，Copilot for Xcode 根据自然语言提示正确生成了包含导航逻辑和返回按钮功能的多视图结构。
• 通过中间件层将 LLM 集成到 Xcode 中，实现了与基于云的 LLM 服务的无缝交互，同时保持了响应速度和上下文感知能力。
• 尽管效果显著，该工具仍面临挑战，例如因注释模式建议导致非代码文件中的代码被破坏，以及依赖非标准方法访问文件路径。
• 该原型在与 Xcode Cloud 等服务结合时，展现出显著提升持续集成与交付流水线的潜力，表明其在 CI/CD 工作流中具有更广泛的应用前景。

Figure 2 : The sequence diagram illustrates the functionality of Copilot for Xcode , enabling real-time suggestions through integration with GitHub Copilot. When a user initiates a code update, Copilot for Xcode receives a notification and subsequently sends a request to the GitHub Copilot API. Upon