[논문 리뷰] Programming with AI: Evaluating ChatGPT, Gemini, AlphaCode, and GitHub Copilot for Programmers

Md Kamrul Siam, Huanying Gu외 1명|arXiv (Cornell University)|2024. 11. 14.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

이 연구는 HumanEval 및 Natural2Code와 같은 벤치마크를 사용하여 파이썬, 자바, C++에서 최신 AI 프로그래밍 보조도구인 ChatGPT, Gemini, GitHub Copilot, AlphaCode의 코드 생성 정확도를 평가한다. Gemini 1.5 Pro와 GPT-4-Turbo가 pass@100 비율에서 최고 성능을 보였으며, GitHub Copilot과 AlphaCode는 뛰어난 성능를 보였지만 일관성은 떨어졌다. 이는 AI 보조 개발 환경에서의 신뢰성 향상과 윤리적 배포의 필요성을 시사한다.

ABSTRACT

Our everyday lives now heavily rely on artificial intelligence (AI) powered large language models (LLMs). Like regular users, programmers are also benefiting from the newest large language models. In response to the critical role that AI models play in modern software development, this study presents a thorough evaluation of leading programming assistants, including ChatGPT, Gemini(Bard AI), AlphaCode, and GitHub Copilot. The evaluation is based on tasks like natural language processing and code generation accuracy in different programming languages like Java, Python and C++. Based on the results, it has emphasized their strengths and weaknesses and the importance of further modifications to increase the reliability and accuracy of the latest popular models. Although these AI assistants illustrate a high level of progress in language understanding and code generation, along with ethical considerations and responsible usage, they provoke a necessity for discussion. With time, developing more refined AI technology is essential for achieving advanced solutions in various fields, especially with the knowledge of the feature intricacies of these models and their implications. This study offers a comparison of different LLMs and provides essential feedback on the rapidly changing area of AI models. It also emphasizes the need for ethical developmental practices to actualize AI models' full potential.

연구 동기 및 목표

• 다양한 프로그래밍 언어에서 최신 AI 모델인 ChatGPT, Gemini, GitHub Copilot, AlphaCode의 코드 생성 정확도를 평가하기.
• 실제 소프트웨어 개발 환경에서 LLM이 생성한 코드의 품질과 정확도를 평가하기 위한 핵심 메트릭과 벤치마크를 특정하기.
• 소프트웨어 공학 워크플로우에 AI 모델을 도입할 때의 강점, 약점 및 윤리적 영향 분석하기.
• 모델의 신뢰성 향상과 프로그래밍 환경에서의 책임감 있는 사용을 위한 실질적인 피드백 제공하기.

제안 방법

• 파이썬, 자바, C++에서 HumanEval 및 Natural2Code와 같은 표준 벤치마크를 사용해 코드 생성의 실증적 평가 수행.
• 정확성과 신뢰성 평가를 위해 pass@k 및 테스트 케이스 성공률과 같은 메트릭을 측정.
• 자연어에서 코드로의 번역 및 알고리즘 문제 해결과 같은 다양한 프로그래밍 작업에 대해 모델 평가.
• 구문적 정확성, 기능성, 의미적 정확성을 평가하기 위해 모델 출력을 인간이 작성한 코드와 비교.
• 성능 차이를 설명하기 위해 모델 간 아키텍처 및 훈련 방식의 차이 분석.
• 관찰된 모델 행동과 한계를 바탕으로 윤리적 고려사항 및 책임감 있는 배포 관행 검토.

실험 결과

연구 질문

• RQ1 RQ1: 다양한 프로그래밍 언어에서 프로그래머에게 가장 정확한 코드를 제공하는 모델은 무엇인가?
• RQ2 RQ2: LLM이 생성한 코드의 품질과 정확도를 평가하는 데 사용되는 핵심 메트릭은 무엇인가?
• RQ3 RQ3: AI 코딩 보조도구의 실제 성능을 측정하는 데 가장 효과적인 벤치마크는 무엇인가?

주요 결과

• Gemini 1.5 Pro와 Gemini-Ultra는 HumanEval 및 Natural2Code에서 높은 pass@100 비율을 기록하여 코드 생성 정확도에서 뛰어난 성능을 보였다.
• OpenAI의 GPT-4-Turbo 모델은 일관되게 높은 테스트 케이스 성공률을 보이며 기능성 코드 생성에서 뛰어난 신뢰성을 입증했다.
• GitHub Copilot는 실시간 코드 완성 및 피드백 기능에서 뛰어난 성능를 보였지만, 복잡한 작업에서는 정확도가 변동성이 있었다.
• AlphaCode, 특히 AlphaCode 2는 경쟁 프로그래밍 분야에서 경쟁력 있는 성과를 기록했으며, 일부 벤치마크에서 평균 85퍼센트의 인간 참가자를 능가했다.
• ChatGPT는 자연어 이해 및 코드 생성 능력이 뛰어나 자연어 기술서를 기반으로 기능하는 코드로의 변환에서 두각을 나타냈다.
• 모든 모델가 정확도와 신뢰성에 있어 상당한 한계를 보였으며, 생산 환경에 적용하기 전 인간의 검토와 검증이 필수였다.