[论文解读] GPTutor: a ChatGPT-powered programming tool for code explanation

Eason Chen, Ray Huang+3 more|arXiv (Cornell University)|May 3, 2023

Scientific Computing and Data Management被引用 16

一句话总结

GPTutor 是一个 Visual Studio Code 扩展，使用 ChatGPT API 通过分析代码并带有来源引用，在弹出窗口中提供简明解释，并在 GitHub 和 VS Code Marketplace 上公开可用。

ABSTRACT

Learning new programming skills requires tailored guidance. With the emergence of advanced Natural Language Generation models like the ChatGPT API, there is now a possibility of creating a convenient and personalized tutoring system with AI for computer science education. This paper presents GPTutor, a ChatGPT-powered programming tool, which is a Visual Studio Code extension using the ChatGPT API to provide programming code explanations. By integrating Visual Studio Code API, GPTutor can comprehensively analyze the provided code by referencing the relevant source codes. As a result, GPTutor can use designed prompts to explain the selected code with a pop-up message. GPTutor is now published at the Visual Studio Code Extension Marketplace, and its source code is openly accessible on GitHub. Preliminary evaluation indicates that GPTutor delivers the most concise and accurate explanations compared to vanilla ChatGPT and GitHub Copilot. Moreover, the feedback from students and teachers indicated that GPTutor is user-friendly and can explain given codes satisfactorily. Finally, we discuss possible future research directions for GPTutor. This includes enhancing its performance and personalization via further prompt programming, as well as evaluating the effectiveness of GPTutor with real users.

研究动机与目标

• 为计算机科学教育中对定制化、AI 辅助的编程辅导的需求提供动力。
• 开发一个将 ChatGPT 集成到 Visual Studio Code 中以便引用相关源代码来解释代码的工具。
• 使解释简练、准确、易于在 IDE 的弹出窗口中使用。
• 提供开源访问该工具，并通过初步的用户和教师反馈展示其潜力。

提出的方法

• 将 Visual Studio Code API 与 ChatGPT API 集成，以创建 GPTutor 作为一个编程解释工具。
• 使用设计好的提示和代码引用机制来生成参考相关源代码的解释。
• 通过 IDE 内的弹出消息向用户展示解释。
• 在 Visual Studio Code 扩展市场上发布该工具，并在 GitHub 上发布源代码。

实验结果

研究问题

• RQ1 GPTutor 是否提供比原生 ChatGPT 和 GitHub Copilot 更简洁、准确的解释？
• RQ2 GPTutor 对学生和教师是否友好？
• RQ3 GPTutor 能否通过提示编程有效扩展和个性化？
• RQ4 GPTutor 对编程教育中的学习成果有何潜在影响？

主要发现

• 初步评估表明 GPTutor 相较于基线（原生 ChatGPT 和 GitHub Copilot）提供更简洁的解释。
• 来自学生和教师的反馈表明 GPTutor 易于使用且对给定代码的解释令人满意。
• GPTutor 的架构支持与集成开发环境（IDE）的集成并访问源代码以提供上下文化解释。
• 论文讨论了在提升性能、个性化和真实用户评估方面的未来方向。