[論文レビュー] ChatGPT in the Classroom: An Analysis of Its Strengths and Weaknesses for Solving Undergraduate Computer Science Questions

Ishika Joshi, Ritvik Budhiraja+6 more|arXiv (Cornell University)|Apr 28, 2023

Artificial Intelligence in Healthcare and Education被引用数 7

ひとこと要約

本研究では、さまざまな形式の大学レベルのコンピュータサイエンスの質問に対して、ChatGPTの信頼性を定量的手法を用いて評価した。特に客観式およびコーディング系の質問において顕著な誤りが見られ、過剰に依存することで自己破壊的リスクがあることを警告するとともに、解決策の生成ではなくアイデーションや説明の補助として戦略的に使用することを推奨する。

ABSTRACT

ChatGPT is an AI language model developed by OpenAI that can understand and generate human-like text. It can be used for a variety of use cases such as language generation, question answering, text summarization, chatbot development, language translation, sentiment analysis, content creation, personalization, text completion, and storytelling. While ChatGPT has garnered significant positive attention, it has also generated a sense of apprehension and uncertainty in academic circles. There is concern that students may leverage ChatGPT to complete take-home assignments and exams and obtain favorable grades without genuinely acquiring knowledge. This paper adopts a quantitative approach to demonstrate ChatGPT's high degree of unreliability in answering a diverse range of questions pertaining to topics in undergraduate computer science. Our analysis shows that students may risk self-sabotage by blindly depending on ChatGPT to complete assignments and exams. We build upon this analysis to provide constructive recommendations to both students and instructors.

研究の動機と目的

• さまざまな形式の大学レベルのコンピュータサイエンスの質問に対して、ChatGPTの信頼性を広範囲にわたって評価すること。
• 課題や試験においてChatGPTに過剰に依存することに伴うリスク、特に学習の質の低下と学術的誠実性の損なわれることを特定すること。
• 学生および教員が、理解を損なうことなく学習を促進するために、ChatGPTを建設的に活用するための根拠に基づいた提言を提供すること。
• プロンプト設計および質問形式が、ChatGPTの回答の正確性と一貫性に与える影響を評価すること。

提案手法

• 7つの質問形式（真偽、単一選択、複数選択、短答、長答、設計系、コーディング関連）を対象とした定量的評価フレームワークを構築した。
• 実世界の関連性を確保するため、コアな大学レベルのコンピュータサイエンス課程、コーディング面接問題、および競技会試験からの質問を抽出した。
• 事実の正確性、論理的整合性、完全性を基準に、体系的に回答を分析し、幻覚や推論エラーの特定に注力した。
• 誤り率とさまざまな質問形式における信頼性を測るため、ChatGPTの回答をゴールスタンダードの解答と比較した。
• プロンプトの表現方法や文脈的ヒントが、回答の質と一貫性に与える影響の評価を含めた。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTがさまざまな形式のコンピュータサイエンスの質問に答える際の強みと弱みは何か？
• RQ2 複数選択、コーディング、設計系の質問など、さまざまな質問形式においてChatGPTのパフォーマンスはどのように変動するか？
• RQ3 学生が課題や試験でChatGPTに依存することによるリスク、特に学習成果と学術的誠実性の観点でのリスクは何か？
• RQ4 学生および教員は、学習と教育の質を向上させるために、ChatGPTをどのように建設的に活用できるか？

主な発見

• ChatGPTは、客観式およびコーディング関連の質問に対して顕著な不確実性を示し、詳細な説明を伴っても顕著な誤り率を示した。
• 複数選択および真偽の質問では、説明が洗練されていても、頻繁に誤った回答を選択した。
• 短答および長答の質問では、回答が冗長で文脈的に説得力があるものの、事実とは一致しないことが多く、学生を誤導するリスクを示した。
• 推論に基づくおよび設計志向の質問では、特に正しい原則や制約を正しく適用できず、弱みを示した。
• コーディングタスクでは、文法的に正しいが論理的に誤りまたは不適切な解決策を生成しており、特に複雑なアルゴリズム的問題で顕著だった。
• 本研究では、プロンプトの表現が回答の質に顕著な影響を与え、わずかな変更によって一貫性のないまたは誤った回答が生じることが判明した。