[논문 리뷰] Exploring the Verifiability of Code Generated by GitHub Copilot

Dakota Wong, Austin Kothig외 1명|arXiv (Cornell University)|2022. 09. 05.

Software Engineering Research인용 수 4

한 줄 요약

이 연구는 수작업으로 작성한 사양에 기반해 Dafny를 사용하여 GitHub Copilot가 생성한 코드의 검증 가능성을 공식적으로 검증함으로써 평가한다. 그 결과, 6개의 Copilot 생성 코드 중 4개가 성공적으로 검증되었으며, 이는 Copilot가 사용 가능한 코드를 생성할 수는 있지만 전문가 수준의 검증이 필요하며, 엄격한 검증 없이 신뢰할 수는 없다는 것을 시사한다.

ABSTRACT

GitHub's Copilot generates code quickly. We investigate whether it generates good code. Our approach is to identify a set of problems, ask Copilot to generate solutions, and attempt to formally verify these solutions with Dafny. Our formal verification is with respect to hand-crafted specifications. We have carried out this process on 6 problems and succeeded in formally verifying 4 of the created solutions. We found evidence which corroborates the current consensus in the literature: Copilot is a powerful tool; however, it should not be "flying the plane" by itself.

연구 동기 및 목표

• 자동 검증 도구를 사용하여 GitHub Copilot가 생성한 코드의 공식적 검증 가능성을 평가하는 것.
• 공식적 사양과 증명을 통해 Copilot가 생성한 코드가 정확성 요구사항을 충족하는지 확인하는 것.
• 검증 없이도 프로덕션 시스템에 Copilot가 생성한 코드를 통합하는 데 실용적인지 평가하는 것.
• 특히 재귀적 또는 복잡한 알고리즘에서 AI가 생성한 코드를 검증할 때 개발자가 겪는 과제를 탐색하는 것.
• Copilot가 정확하고 공식적 검증에 적합한 코드를 생성하는 데서 보이는 한계를 이해하는 것.

제안 방법

• LeetCode의 6개 알고리즘 문제(이진 탐색 및 최대 힙 재정렬 포함)를 테스트 케이스로 선정.
• 자연어 프롬프트를 기반으로 GitHub Copilot를 사용해 Python 기반의 구현을 생성.
• 각 알고리즘의 의도된 동작을 기술하기 위해 수작업으로 Dafny에 사양을 작성.
• Dafny의 검증 프레임워크를 적용하여 Copilot의 구현이 사양을 충족하는지 확인.
• 포인터 산술과 메모리 관리의 복잡성으로 인해 Dafny의 복잡성을 피하기 위해 Python을 중간 매개체로 사용.
• 특히 재귀적 구현에서의 불변식과 반복 구조를 식별하여 검증 과정을 안내함.

실험 결과

연구 질문

• RQ1 Dafny는 수작업으로 작성한 사양에 기반해 GitHub Copilot가 생성한 코드를 공식적으로 검증할 수 있는가?
• RQ2 Copilot가 생성한 구현 중 몇 개가 성공적으로 검증되었으며, 검증 성공에 영향을 주는 요인은 무엇인가?
• RQ3 특히 재귀적 또는 비단순 알고리즘에서 AI가 생성한 코드를 검증할 때 주요 과제는 무엇인가?
• RQ4 검증 가능성과 정확성 측면에서 Copilot가 생성한 코드는 인간이 작성한 코드와 비교해 어떻게 다른가?
• RQ5 Copilot의 훈련 데이터가 잘 알려진 알고리즘 문제에 대해 검증 가능한 코드를 생성하는 데 영향을 미치는 정도는 어느 정도인가?

주요 결과

• Dafny를 사용해 수작업으로 작성한 사양에 기반해 6개의 Copilot 생성 구현 중 4개가 성공적으로 공식적으로 검증되었으며, 이는 일부 AI 생성 코드가 공식적 검증에 적합하다는 것을 보여준다.
• 재귀적 구현, 예를 들어 최대 힙 재정렬 함수의 경우 검증이 특히 어려웠으며, 코드가 잠재적으로 정확할 수 있음에도 불구하고 완료되지 않았다.
• Copilot는 최적화되지 않은 해법을 생성할 뿐 아니라 때로는 잘못된 해법도 생성했으며, 이는 최대 힙 재정렬 사례에서 나타났다. 이는 생성된 코드가 직접 사용하기에 적합하지 않음을 시사한다.
• Dafny에서 제곱근 연산을 지원하지 않는 점이 도구 특유의 제약를 초래했지만, 대부분의 경우 검증을 방해하지 않았다.
• 검증 성공 여부는 불변식의 명확성과 코드의 구조에 크게 의존했으며, 반복적 구현은 재귀적 구현보다 검증이 더 쉬웠다.
• 이 연구는 Copilot가 프로토타이핑을 가속화하지만, 엄격한 검토, 즉 공식적 검증 또는 광범위한 테스트 없이 사용해서는 안 된다고 제안한다.