[논문 리뷰] Transforming Software Development: Evaluating the Efficiency and Challenges of GitHub Copilot in Real-World Projects

Ruchika Pandey, Prabhat K. Singh외 2명|arXiv (Cornell University)|2024. 06. 25.

Software System Performance and Reliability인용 수 4

한 줄 요약

이 연구는 대규모 기업용 코드베이스를 대상으로 15개의 작업을 분석하여 GitHub Copilot이 실제 소프트웨어 개발에 미치는 영향을 평가한다. 코드 문서화 및 자동 완성 작업에서 최대 50%의 시간 절감을 입증하였으며, 반복적 작업, 단위 테스트 생성, 디버깅 분야에서 30–40%의 성과 향상을 보였다. 클라우드 중심 개발 생애주기에서는 예상 33–36%의 시간 절감이 가능하며, 복잡한 다중 파일 또는 C/C++ 환경에서는 한계를 드러냈다.

ABSTRACT

Generative AI technologies promise to transform the product development lifecycle. This study evaluates the efficiency gains, areas for improvement, and emerging challenges of using GitHub Copilot, an AI-powered coding assistant. We identified 15 software development tasks and assessed Copilot's benefits through real-world projects on large proprietary code bases. Our findings indicate significant reductions in developer toil, with up to 50% time saved in code documentation and autocompletion, and 30-40% in repetitive coding tasks, unit test generation, debugging, and pair programming. However, Copilot struggles with complex tasks, large functions, multiple files, and proprietary contexts, particularly with C/C++ code. We project a 33-36% time reduction for coding-related tasks in a cloud-first software development lifecycle. This study aims to quantify productivity improvements, identify underperforming scenarios, examine practical benefits and challenges, investigate performance variations across programming languages, and discuss emerging issues related to code quality, security, and developer experience.

연구 동기 및 목표

• 실제 소프트웨어 개발 워크플로우에서 GitHub Copilot 사용이 가져오는 생산성 향상을 정량화하는 것.
• 기대하는 효율성 향상이 이루어지지 않는 실패 요인을 특정하는 것.
• 특히 C/C++에서의 프로그래밍 언어 간 성능 차이를 분석하는 것.
• AI 기반 코딩 도구 사용 시 코드 품질, 보안, 개발자 경험과 관련된 새로운 과제를 평가하는 것.
• 실증적 결과를 바탕으로 클라우드 중심 소프트웨어 개발 생애주기에서의 시간 절감을 예측하는 것.

제안 방법

• 대규모 기업용 코드베이스를 활용해 15개의 소프트웨어 개발 작업에서 실제 환경 평가를 수행하였다.
• 코드 자동 완성, 문서화, 단위 테스트 생성, 디버깅, 페어 프로그래밍 등의 작업에서 시간 절감 및 효율성 향상을 측정하였다.
• 산업적 관련성을 반영하기 위해 기업 규모의 클라우드 중심 개발 환경에 집중하였다.
• 특히 C/C++ 및 복잡한 함수에 주안점을 두고 다양한 프로그래밍 언어에서의 성능을 평가하였다.
• 다중 파일 환경 및 대규모 코드 구조에서의 실패 사례를 분석하여 한계를 규명하였다.
• 관찰된 작업 수준의 향상 결과를 바탕으로 소프트웨어 개발 생애주기 전체의 시간 절감을 예측하였다.

실험 결과

연구 질문

• RQ1 GitHub Copilot은 실제 대규모 소프트웨어 프로젝트에서 개발자 업무의 고된 노동을 얼마나 줄일 수 있는가?
• RQ2 어떤 유형의 개발 작업에서 Copilot이 가장 높은 효율성 향상을 제공하는가?
• RQ3 Copilot의 성능은 특히 C/C++에서 다른 프로그래밍 언어와 비교해 어떻게 다를까?
• RQ4 복잡하거나 다중 파일 소프트웨어 개발 환경에서 Copilot의 주요 실패 유형은 무엇인가?
• RQ5 AI 보조 코딩 사용 시 코드 품질, 보안, 개발자 경험과 관련된 새로운 과제는 무엇인가?

주요 결과

• GitHub Copilot은 코드 문서화 및 자동 완성 작업에서 개발 시간을 최대 50%까지 단축시켰다.
• 반복적 코딩 작업, 단위 테스트 생성, 디버깅, 페어 프로그래밍 분야에서 30–40%의 시간 절감이 관찰되었다.
• 이 연구는 클라우드 중심 소프트웨어 개발 생애주기에서 코딩 관련 작업의 전체적인 시간 절감률을 33–36%로 예측하였다.
• Copilot은 복잡한 작업, 큰 함수, 다중 파일 코드베이스에서 특히 어려움을 겪었으며, 특히 C/C++에서 두드러졌다.
• 맥락 이해가 제한된 기업용 코드 환경에서는 성능 저하가 관찰되었다.
• 코드 품질 및 보안 위험은 검토가 철저히 이루어지지 않을 경우 특히 우려되는 새로운 과제로 나타났다.