[論文レビュー] On the Educational Impact of ChatGPT: Is Artificial Intelligence Ready to Obtain a University Degree?

Kamil Malinka, Martin Perešíni+3 more|arXiv (Cornell University)|Mar 20, 2023

Artificial Intelligence in Healthcare and Education被引用数 43

ひとこと要約

本論文は、ChatGPT が大学レベルのコンピュータセキュリティ課題に対応する能力を評価し、悪用と支援可能性を分析し、必要な教育適応について論じる。

ABSTRACT

In late 2022, OpenAI released a new version of ChatGPT, a sophisticated natural language processing system capable of holding natural conversations while preserving and responding to the context of the discussion. ChatGPT has exceeded expectations in its abilities, leading to extensive considerations of its potential applications and misuse. In this work, we evaluate the influence of ChatGPT on university education, with a primary focus on computer security-oriented specialization. We gather data regarding the effectiveness and usability of this tool for completing exams, programming assignments, and term papers. We evaluate multiple levels of tool misuse, ranging from utilizing it as a consultant to simply copying its outputs. While we demonstrate how easily ChatGPT can be used to cheat, we also discuss the potentially significant benefits to the educational system. For instance, it might be used as an aid (assistant) to discuss problems encountered while solving an assignment or to speed up the learning process. Ultimately, we discuss how computer science higher education should adapt to tools like ChatGPT.

研究の動機と目的

• 大学のコンピュータセキュリティ課題（試験、エッセイ、プログラミング、CTF）を解決する ChatGPT の有効性を評価する。
• 出力のコピーから AI をアシスタントとして使用するまで、AI 使用のさまざまなレベルを検討する。
• 教育への正・負の影響を論じ、カリキュラムと評価の適応案を提案する。
• 高等教育におけるAI支援学習の検出、予防、採用戦略を検討する。

提案手法

• 試験カテゴリー（筆記試験、期末エッセイ、プログラミング課題、CTF）と採点方式を定義する。
• 3 つのAI 使用モード（Copy&Paste、Interpretation、Assistant）を確立し、課題タイプと対応付ける。
• ChatGPT を、四つのセキュリティ志向コースにまたがる実在のチェコ学生課題の基礎セットに適用する。
• AI が生成した結果を歴史的な学生成績と比較して相対的な実力を評価する。
• GPTZero を検出器として使用し、言語特有の検出限界（English vs Czech）について論じる。
• 評価の重さが異なるコースに対する全体的な合格率の影響を評価する。

Figure 1 . Trend in Google searches for chatbot and AI-related queries. Retrieved from Google Trends 2 2 2 Accessed 12.1.2023, https://trends.google.com/trends/explore?date=today%203-m&q=chatgpt,openai,chatbot,AI .

実験結果

リサーチクエスチョン

• RQ1 ChatGPT はさまざまな試験形式で平均的な学生と同等または優れた得点を達成できるか。
• RQ2 異なる AI 使用モードはパフォーマンスと学習成果にどう影響するか。
• RQ3 AI 支援学習が教育の質と誠実さに及ぼす正と負の影響は何か。
• RQ4 高等教育を AI ツールに適応させるために必要な対策（検出、予防、採用）は何か。
• RQ5 厳格さを維持しつつ学習を加速する教育アシスタントとして AI を利用することは実現可能か。

主な発見

• ChatGPT は全文試験で正解を出せるが、回答が広くなり具体性や文脈の感度の問題を伴う。
• テストでは Copy&Paste モードは結果が変動しうるうえ、誤答には厳しい採点が適用されることがあり、Interpretation モードは質を向上させる。
• AI は期末エッセイで人間より劣る場合があるが、AI支援執筆は特定のタスク（例：脅威モデリング、説明）で時間を節約できる。
• 事前定義されたコードについて、ChatGPT はコードを生成しタスクを迅速に完了できるが、単に出力をコピーするだけだと深い理解と学習が低下する。
• 小規模プロジェクトやプログラミング課題では ChatGPT がアルゴリズムを実装し実行可能なコードを生成できるが、学習の深さは損なわれる可能性がある。
• 全体として、ChatGPT は重み付け次第でコースを合格できるが、テストで Copy&Paste モードを使用した場合のいくつかの状況でわずかな損失が生じる。
• 本研究は、盗用（剽窃）、基礎知識の喪失といった重大な教育上のリスクと、学習アシスタントとしての AI、理解の加速といった潜在的な利益を指摘している。
• 推奨事項には検出・予防ツール、マイルストーンベースの評価、AIをカリキュラム補助として採用して批判的思考と問題解決能力を育成することが含まれる。

Figure 2 . The results obtained by scoring AI outputs in multiple evaluation categories with comparison to a genuine sample of student scores.