[논문 리뷰] Copilot for Xcode: Exploring AI-Assisted Programming by Prompting Cloud-based Large Language Models

Chee Wei Tan, Shangxin Guo외 2명|arXiv (Cornell University)|2023. 07. 08.

Software Engineering Research인용 수 5

한 줄 요약

이 논문은 Apple의 Xcode IDE에 클라우드 기반 대규모 언어 모델(LLM)인 GitHub Copilot 및 OpenAI GPT를 통합하는 AI 보조 프로그래밍 도구인 Copilot for Xcode를 제시한다. 채팅 인터페이스를 통한 실시간 프롬프트 엔지니어링을 가능하게 함으로써 코드 생성, 자동 완성, 문서화, 오류 검출 기능을 향상시켜 애플 생태계 개발의 생산성과 창의성을 크게 향상시킨다.

ABSTRACT

This paper presents an AI-assisted programming tool called Copilot for Xcode for program composition and design to support human software developers. By seamlessly integrating cloud-based Large Language Models (LLM) with Apple's local development environment, Xcode, this tool enhances productivity and unleashes creativity for software development in Apple software ecosystem (e.g., iOS apps, macOS). Leveraging advanced natural language processing (NLP) techniques, Copilot for Xcode effectively processes source code tokens and patterns within code repositories, enabling features such as code generation, autocompletion, documentation, and error detection. Software developers can also query and make "small" decisions for program composition, some of which can be made simultaneously, and this is facilitated through prompt engineering in a chat interface of Copilot for Xcode. Finally, we present simple case studies as evidence of the effectiveness of utilizing NLP in Xcode to prompt popular LLM services like OpenAI ChatGPT for program composition and design.

연구 동기 및 목표

• 애플 소프트웨어 생태계에서 개발을 간소화하는 지능적이고 상호작용 가능한 프로그래밍 보조도구에 대한 점증하는 수요를 해결하기 위해.
• 현장에서의 Xcode 환경에 LLM을 통합하여 인간 수준의 프로그래밍 창의성과 AI 기반 코드 제안 간 격차를 메우기 위해.
• 프롬프트 엔지니어링이 iOS 및 macOS 개발을 위한 올바르고 맥락 인식된 코드를 생성하는 데 미치는 영향을 평가하기 위해.
• 실제 사례 중심의 SwiftUI 및 알고리즘 설계에서 AI 보조 도구가 인간 개발자를 대체하지 않으면서도 소프트웨어 생산성을 향상시키는 방식을 보여주기 위해.

제안 방법

• 사용자 프롬프트와 LLM API 간의 중개자 역할을 하는 미들웨어 계층을 통해 Apple의 Xcode IDE에 클라우드 기반 LLM(GitHub Copilot, OpenAI GPT)을 통합한다.
• 채팅 기반 인터페이스에서 프롬프트 엔지니어링을 활용하여 개발자가 자연어 요청을 통해 코드 생성, 자동 완성, 디버깅을 요청할 수 있도록 한다.
• 코드 리포지토리에서 추출한 소스 코드 토큰과 패턴을 처리하여 LLM이 생성한 제안의 맥락 인식 능력과 관련성 수준을 향상시킨다.
• 서버리스 컴퓨팅 기능을 활용하여 LLM 서비스에 즉각적인 액세스를 가능하게 하면서도 IDE 내에서 낮은 지연 시간을 유지한다.
• 파일 및 프로젝트 경로를 검색하기 위해 Xcode의 샌드박싱 제약 조건을 우회하는 비표준 방법을 적용하여 더 깊은 코드 맥락 인식 능력을 확보한다.
• 구문 충돌을 방지하기 위해 코드 제안을 C 스타일 주석 형식으로 제시하지만, 이는 JSON과 같은 비코드 파일에서 코드 손상의 원인이 될 수 있다.

Figure 1 : An overview of the AI-assisted programming application, Copilot for Xcode modeled as an intermediary software entity to connect user requests (e.g., prompt tokens) with cloud-based large language models.

실험 결과

연구 질문

• RQ1 클라우드 기반 LLM이 애플의 Xcode IDE에 얼마나 효과적으로 통합되어 AI 보조 프로그래밍 작업을 지원할 수 있는가?
• RQ2 실제 iOS 및 macOS 개발 환경에서 프롬프트 엔지니어링이 LLM이 생성한 코드의 정확성과 관련성에 얼마나 큰 영향을 미치는가?
• RQ3 Copilot for Xcode와 같은 AI 보조 도구가 SwiftUI 기반 앱 개발에서 개발자 생산성과 코드 품질을 향상시킬 수 있는가?
• RQ4 특히 샌드박싱, 파일 형식 처리 및 맥락 인식 능력 측면에서 현재 로컬 IDE에 통합된 LLM의 한계는 무엇인가?

주요 결과

• Copilot for Xcode는 Xcode 내에서 실시간으로 프롬프트 기반 코드 생성과 자동 완성을 가능하게 하여 일반적인 작업에 대한 수동 코드 작성 노력의 감소를 크게 이끌어냈다.
• 명시적으로 HCF를 사용하지 않고 LCM 계산을 수행하도록 요청받았을 때도 정확한 코드 생성이 가능함을 입증하여 정밀한 프롬프트 엔지니어링의 영향을 보여주었다.
• SwiftUI 기반 네비게이션 앱 개발에서, 자연어 프롬프트에 기반해 백버튼 기능을 포함한 다중 뷰 구조와 네비게이션 로직을 정확히 생성하였다.
• 미들웨어 계층을 통한 LLM 통합은 클라우드 기반 LLM 서비스와의 원활한 상호작용을 가능하게 하면서도 응답성과 맥락 인식 능력을 유지한다.
• 효과성은 높지만, 주석 형식의 제안으로 인해 비코드 파일에서 코드 손상의 가능성이 있으며, 파일 경로 액세스에 비표준 방법에 의존한다는 점에서 도전 과제를 겪고 있다.
• 프로토타입은 Xcode Cloud와 같은 서비스와 결합될 경우 지속적 통합 및 배포 파이프라인의 향상 잠재력을 보여주어 CI/CD 워크플로우 전반에 걸쳐 광범위한 적용 가능성을 시사한다.

Figure 2 : The sequence diagram illustrates the functionality of Copilot for Xcode , enabling real-time suggestions through integration with GitHub Copilot. When a user initiates a code update, Copilot for Xcode receives a notification and subsequently sends a request to the GitHub Copilot API. Upon