[論文レビュー] Analyzing ChatGPT's Aptitude in an Introductory Computer Engineering Course

Sanjay Deshpande, Jakub Szefer|arXiv (Cornell University)|Mar 13, 2023

Artificial Intelligence in Healthcare and Education被引用数 5

ひとこと要約

本研究では、イェール大学の初年級コンピュータ工学コースにおいて、ChatGPTおよびOpenAI APIを用いてGPT-3の性能を評価し、クイズ、宿題、試験、実験課題の各分野での成績を分析した。文系の概念的・短答式の質問に対しては、正確で人間らしい回答を生成するが、図解ベースや視覚的、実地的な要素については失敗し、現行の仕様ではコースを修了できないことが判明した。

ABSTRACT

ChatGPT has recently gathered attention from the general public and academia as a tool that is able to generate plausible and human-sounding text answers to various questions. One potential use, or abuse, of ChatGPT is in answering various questions or even generating whole essays and research papers in an academic or classroom setting. While recent works have explored the use of ChatGPT in the context of humanities, business school, or medical school, this work explores how ChatGPT performs in the context of an introductory computer engineering course. This work assesses ChatGPT's aptitude in answering quizzes, homework, exam, and laboratory questions in an introductory-level computer engineering course. This work finds that ChatGPT can do well on questions asking about generic concepts. However, predictably, as a text-only tool, it cannot handle questions with diagrams or figures, nor can it generate diagrams and figures. Further, also clearly, the tool cannot do hands-on lab experiments, breadboard assembly, etc., but can generate plausible answers to some laboratory manual questions. One of the key observations presented in this work is that the ChatGPT tool could not be used to pass all components of the course. Nevertheless, it does well on quizzes and short-answer questions. On the other hand, plausible, human-sounding answers could confuse students when generating incorrect but still plausible answers.

研究の動機と目的

• 本科目のコンピュータ工学コースにおける多様な評価形式（クイズ、宿題、試験、実験課題）に対して、ChatGPTが正確な解答を生成できるかを評価すること。
• GPT-3のようなテキスト中心のLLMが、コンピュータ工学教育に一般的に見られる図解や図表処理に対応できないという限界を特定すること。
• 実際のコース環境において、ChatGPTが学業不正の手段や学習支援として使用可能かどうかを評価すること。
• 真理値表、論理ゲート、ステートマシンなどの技術的図解を解釈・生成できるようにLLMを改善するための提案を行うこと。
• 解答の質と生成速度の両方を評価するための「分単位当たりの正確性（accuracy-per-minute）」という新しい指標を導入・適用すること。

提案手法

• GPT-3のDavinciモデルを用いてOpenAI APIを介して、クイズ、宿題、試験、実験課題の各質問に対する回答を生成した。
• カスタムPythonベースのソリューションジェネレータを用いて出力を収集・分析し、再現性を確保するためJSON形式で保存した。
• 解答の正しさと生成速度の両方をバランスさせる、新規の「分単位当たりの正確性」指標を用いて回答を評価した。
• 標準的な学生の提出物と比較し、正しさ、完全性、妥当性の観点から回答を分析した。
• APIパラメータ（特にmax_tokens）が出力品質に与える影響を調査し、値が低すぎると切り捨てが発生することを確認した。
• 繰り返し発生する問題として、読み取り不可能なASCIIアート、誤ったまたは破損した画像リンク、文脈依存の誤解釈を特定した。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは、初年級コンピュータ工学コースのクイズ、宿題、試験、実験課題に対して、正しいかつ妥当な回答を生成できるか？
• RQ2 図解や実地作業を要する要素を含む、さまざまな評価形式において、ChatGPTの性能はどのように変化するか、特に図解が必要な部分でどうか？
• RQ3 ChatGPTの出力が、正解の学生の提出物と誤認される可能性はどの程度高く、学業不正の手段として利用可能か？
• RQ4 現在のテキスト中心のLLMが、コンピュータ工学教育に不可欠な視覚的・図解的コンテンツを処理できない主な限界は何か？
• RQ5 技術的工学コースにおいて、LLMが学生の作業を効果的に支援または置き換えるために、どのような改善が必要か？

主な発見

• ChatGPTは、短答式や概念的なクイズ問題に対して優れた性能を示し、正確で人間らしい回答を頻繁に生成した。
• 真理値表、論理ゲートの回路図、ステートマシン図、波形図などの図解を解釈または生成できなかった。
• 視覚的推論を要する質問に対しては、読み取り不可能なASCIIアートや誤った画像リンクを生成することがあった。
• ブレッドボード作業や回路組み立てといった実地の実験課題は、生成された説明がいかに説得力があっても、実行できなかった。
• 本評価にあたり、OpenAI APIのコストは約$2.14であった。GPT-3のDavinciモデルは1,000トークンあたり$0.12の料金であった。
• 分単位当たりの正確性指標により、GPT-3が生成した解答は学生の提出物ほど正確ではなかったが、生成速度は桁違いに速く、速度と正確性のトレードオフが顕著に現れた。