[論文レビュー] GPTutor: a ChatGPT-powered programming tool for code explanation

Eason Chen, Ray Huang+3 more|arXiv (Cornell University)|May 3, 2023

Scientific Computing and Data Management被引用数 16

ひとこと要約

GPTutor は、ソース参照を用いてコードを解析し、ポップアップ内で簡潔な説明を提供する ChatGPT API を利用した Visual Studio Code 拡張機能であり、GitHub および VS Code Marketplace で公開されています。

ABSTRACT

Learning new programming skills requires tailored guidance. With the emergence of advanced Natural Language Generation models like the ChatGPT API, there is now a possibility of creating a convenient and personalized tutoring system with AI for computer science education. This paper presents GPTutor, a ChatGPT-powered programming tool, which is a Visual Studio Code extension using the ChatGPT API to provide programming code explanations. By integrating Visual Studio Code API, GPTutor can comprehensively analyze the provided code by referencing the relevant source codes. As a result, GPTutor can use designed prompts to explain the selected code with a pop-up message. GPTutor is now published at the Visual Studio Code Extension Marketplace, and its source code is openly accessible on GitHub. Preliminary evaluation indicates that GPTutor delivers the most concise and accurate explanations compared to vanilla ChatGPT and GitHub Copilot. Moreover, the feedback from students and teachers indicated that GPTutor is user-friendly and can explain given codes satisfactorily. Finally, we discuss possible future research directions for GPTutor. This includes enhancing its performance and personalization via further prompt programming, as well as evaluating the effectiveness of GPTutor with real users.

研究の動機と目的

• 計算機科学教育における、個別化されたAI支援プログラミング指導の必要性を動機づける。
• 関連する元のコードを参照してコードを説明するために、ChatGPT を Visual Studio Code 内に組み込むツールを開発する。
• IDE のポップアップからアクセスできる、簡潔で正確、かつ使いやすいコード説明を可能にする。
• ツールへのオープンソースアクセスを提供し、初期のユーザーと教師のフィードバックを通じてその潜在能力を示す。

提案手法

• Visual Studio Code API を ChatGPT API と統合して、GPTutor をプログラミング説明ツールとして作成する。
• 設計されたプロンプトとコード参照機構を用いて、関連するソースコードを参照した説明を生成する。
• IDE 内のポップアップメッセージを通じてユーザーに説明を提示する。
• ツールを Visual Studio Code Extension Marketplace に公開し、GitHub でソースコードを公開する。

実験結果

リサーチクエスチョン

• RQ1 GPTutor は、通常の ChatGPT および GitHub Copilot よりも簡潔で正確な説明を提供しますか？
• RQ2 GPTutor は学生と教師にとって使いやすいですか？
• RQ3 プロンプトプログラミングによって GPTutor を効果的に拡張・個別化できますか？
• RQ4 プログラミング教育における学習成果に対する GPTutor の潜在的影響は何ですか？

主な発見

• 予備的評価は、GPTutor がベースライン（バニラ ChatGPT および GitHub Copilot）と比べてより簡潔な説明を生み出すことを示している。
• 学生と教師からのフィードバックは、GPTutor が使いやすく、与えられたコードを満足のいく説明をしていることを示唆している。
• GPTutor のアーキテクチャは IDE への統合と、文脈に基づく説明のためのソースコードへのアクセスをサポートしている。
• 本論文は、性能の向上、個別化、実ユーザー評価のための将来の方向性を議論している。