[논문 리뷰] GitHub Copilot AI pair programmer: Asset or Liability?

Arghavan Moradi Dakhel, Vahid Majdinasab외 5명|arXiv (Cornell University)|2022. 06. 30.

Software Engineering Research인용 수 40

한 줄 요약

이 논문은 GitHub Copilot을 AI 페어 프로그래머로서 실험적으로 평가하며, 기본 알고리즘 문제를 해결하는 능력을 테스트하고 Python 과제에서 인간 프로그래머의 솔루션과 비교합니다.

ABSTRACT

Automatic program synthesis is a long-lasting dream in software engineering. Recently, a promising Deep Learning (DL) based solution, called Copilot, has been proposed by OpenAI and Microsoft as an industrial product. Although some studies evaluate the correctness of Copilot solutions and report its issues, more empirical evaluations are necessary to understand how developers can benefit from it effectively. In this paper, we study the capabilities of Copilot in two different programming tasks: (i) generating (and reproducing) correct and efficient solutions for fundamental algorithmic problems, and (ii) comparing Copilot's proposed solutions with those of human programmers on a set of programming tasks. For the former, we assess the performance and functionality of Copilot in solving selected fundamental problems in computer science, like sorting and implementing data structures. In the latter, a dataset of programming problems with human-provided solutions is used. The results show that Copilot is capable of providing solutions for almost all fundamental algorithmic problems, however, some solutions are buggy and non-reproducible. Moreover, Copilot has some difficulties in combining multiple methods to generate a solution. Comparing Copilot to humans, our results show that the correct ratio of humans' solutions is greater than Copilot's suggestions, while the buggy solutions generated by Copilot require less effort to be repaired.

연구 동기 및 목표

• Copilot이 기본 알고리즘 문제에 대해 정확하고 효율적인 해를 생성할 수 있는지 평가합니다.
• Python 프로그래밍 과제 데이터셋에서 Copilot의 생성 솔루션과 인간 솔루션을 비교합니다.
• 정확성, 효율성, 재현성, Copilot 출력의 유사성 등의 지표를 평가합니다.

제안 방법

• 표준 알고리즘 설계 책에서 파생한 프롬프트를 사용하여 정렬, 데이터 구조, 그래프, 그리디 알고리즘에 걸친 기본 알고리즘 문제에 대해 Copilot을 테스트합니다.
• 30일 간격으로 두 차례의 실험에서 프롬프트별로 여러 Copilot 응답을 평가하여 일관성을 판단합니다.
• 정답 여부를 기준 알고리즘 및 단위 테스트와 대조하고 알고리즘의 구현 충실성을 수동으로 평가합니다.
• 정답이 되는 하나의 해가 최적 알고리즘을 사용하는지 확인하여 코드 최적성을 측정합니다.
• 시도 및 실험 간 AST 기반 유사성을 사용하여 코드 재현성 및 유사성을 평가합니다.
• 정확하고 버그가 없는 제출물과 수정 도구를 포함한 코스의 Python 프로그래밍 과제 데이터셋과 Copilot의 성능을 인간 솔루션과 비교합니다.

실험 결과

연구 질문

• RQ1 RQ1: Copilot이 기본 알고리즘 문제에 대해 정확하고 효율적인 해를 제시할 수 있는가?
• RQ2 RQ2: Copilot의 솔루션이 프로그래밍 문제 해결에서 인간 솔루션과 경쟁력이 있는가?

주요 결과

• Copilot은 대부분의 기본 문제에 대해 해를 생성할 수 있지만 일부 해는 버그가 있고 재현되지 않는 경우가 있다.
• Copilot은 여러 방법을 조합하여 완전한 해를 구성하는 데 어려움이 있다.
• 사람과 비교했을 때 Copilot의 정답 솔루션 비율은 낮고 솔루션의 다양성도 떨어진다.
• 버그가 있는 Copilot 솔루션은 더 쉽게 수정될 수 있지만 초보자가 필터링하기는 더 어려울 수 있다.
• 전문 개발자가 사용할 경우 Copilot은 사람과 유사한 수준의 솔루션 품질로 자산이 될 수 있지만, 초보자가 사용할 경우 버그이거나 비최적 코드로 인해 리스크가 될 수 있다.