[논문 리뷰] GPTutor: a ChatGPT-powered programming tool for code explanation

Eason Chen, Ray Huang외 3명|arXiv (Cornell University)|2023. 05. 03.

Scientific Computing and Data Management인용 수 16

한 줄 요약

GPTutor는 ChatGPT API를 사용하여 소스 참조로 코드를 분석하고 코드 설명을 제공하며, 팝업 내에서 간결한 설명을 전달하고 GitHub 및 VS Code Marketplace에서 공개적으로 제공된다.

ABSTRACT

Learning new programming skills requires tailored guidance. With the emergence of advanced Natural Language Generation models like the ChatGPT API, there is now a possibility of creating a convenient and personalized tutoring system with AI for computer science education. This paper presents GPTutor, a ChatGPT-powered programming tool, which is a Visual Studio Code extension using the ChatGPT API to provide programming code explanations. By integrating Visual Studio Code API, GPTutor can comprehensively analyze the provided code by referencing the relevant source codes. As a result, GPTutor can use designed prompts to explain the selected code with a pop-up message. GPTutor is now published at the Visual Studio Code Extension Marketplace, and its source code is openly accessible on GitHub. Preliminary evaluation indicates that GPTutor delivers the most concise and accurate explanations compared to vanilla ChatGPT and GitHub Copilot. Moreover, the feedback from students and teachers indicated that GPTutor is user-friendly and can explain given codes satisfactorily. Finally, we discuss possible future research directions for GPTutor. This includes enhancing its performance and personalization via further prompt programming, as well as evaluating the effectiveness of GPTutor with real users.

연구 동기 및 목표

• 컴퓨터 과학 교육에서 맞춤형 AI 보조 프로그래밍 튜터링의 필요성을 동기 부여한다.
• 관련 소스 코드에 대한 참조를 바탕으로 코드를 설명하기 위해 Visual Studio Code 내에 ChatGPT를 통합하는 도구를 개발한다.
• IDE의 팝업을 통해 간결하고 정확하며 사용자 친화적인 코드 설명을 가능하게 한다.
• 도구에 대한 오픈 소스 접근을 제공하고 예비 사용자 및 교사 피드백을 통해 그 가능성을 입증한다.

제안 방법

• Visual Studio Code API를 ChatGPT API와 통합하여 GPTutor를 프로그래밍 설명 도구로 만든다.
• 설계된 프롬프트와 코드 참조 메커니즘을 사용하여 관련 소스 코드를 참조하는 설명을 생성한다.
• IDE 내 팝업 창을 통해 사용자에게 설명을 제시한다.
• 도구를 Visual Studio Code Extension Marketplace에 공개하고 GitHub에서 소스 코드를 공개한다.

실험 결과

연구 질문

• RQ1 GPTutor가 기본 ChatGPT 및 GitHub Copilot보다 더 간결하고 정확한 설명을 제공합니까?
• RQ2 GPTutor는 학생과 교사에게 사용하기 쉬운가요?
• RQ3 프롬프트 프로그래밍을 통해 GPTutor를 효과적으로 확장하고 개인화할 수 있나요?
• RQ4 프로그래밍 교육에서 학습 성과에 대한 GPTutor의 잠재적 영향은 무엇인가요?

주요 결과

• 예비 평가에서 GPTutor가 기준선(기본 ChatGPT 및 GitHub Copilot)에 비해 더 간결한 설명을 제공하는 것으로 나타났다.
• 학생과 교사의 피드백은 GPTutor가 사용자 친화적이며 주어진 코드를 만족스럽게 설명한다고 시사한다.
• GPTutor의 아키텍처는 IDE와의 통합 및 상황 맥락에 맞춘 설명을 위한 소스 코드 접근을 지원한다.
• 본 논문은 성능 향상, 개인화 및 실제 사용자 평가를 위한 향후 방향에 대해 논의한다.