[論文レビュー] Beyond the Hype: A Cautionary Tale of ChatGPT in the Programming Classroom

Grant Oosterwyk, Pitso Tsibolane+2 more|arXiv (Cornell University)|Jun 16, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

本研究は、情報システムおよびコンピュータサイエンスの学部課程のプログラミング授業におけるChatGPT 3.5の実用的影響を調査し、過去の学生の演習から得たコード生成を分析するため、複雑適応システム（CAS）理論を適用している。研究では一般的な誤りや評価の難しさを明らかにし、AIの支援があっても、批判的コーディングスキルを育てるためのより強固なプログラミング課題の設計戦略を提供する。

ABSTRACT

Due to the proliferation of Large Language Models research and the use of various Artificial Intelligence (AI) tools, the field of information systems (IS) and computer science (CS) has evolved. The use of tools such as ChatGPT to complete various student programming exercises (e.g., in Python) and assignments has gained prominence amongst various academic institutions. However, recent literature has suggested that the use of ChatGPT in academia is problematic and the impact on teaching and learning should be further scrutinized. More specifically, little is known about how ChatGPT can be practically used with code (programming) writing to complete programming exercises amongst IS and CS undergraduate university students. Furthermore, the paper provides insights for academics who teach programming to create more challenging exercises and how to engage responsibly in the use of ChatGPT to promote classroom integrity. In this paper, we used Complex Adaptive Systems (CAS) theory as a theoretical guide to understand the various dynamics through classroom code demonstrations. Using ChatGPT 3.5, we analyzed the various practical programming examples from past IS exercises and compared those with memos created by tutors and lecturers in a university setting. This paper highlights common ways of assessment, programming errors created by ChatGPT and the potential consideration for IS academics to ensure the development of critical programming skills among students.

研究の動機と目的

• 情報システムおよびコンピュータサイエンスの学部レベルのプログラミング演習に、ChatGPT 3.5が実際にコードを生成する際の性能を調査すること。
• 学生の課題において、ChatGPTが導入する一般的なプログラミングの誤りや論理的な欠陥を特定すること。
• AI支援コード生成が、プログラミング授業における評価の整合性と学習成果に与える影響を検討すること。
• 教育者にとって実行可能なイン sights を提供し、AIへの過度な依存を減らし、批判的思考を促進するより強固なプログラミング課題の設計を可能にすること。
• 複雑適応システム（CAS）理論を応用し、プログラミング授業における学生、AIツール、教育実践の間のダイナミックな相互作用を理解すること。

提案手法

• 教室内でのコード生成プロセスにおける顕在的行動を分析するため、応用的複雑適応システム（CAS）理論を理論的枠組みとして採用した。
• 過去のISプログラミング演習およびそれらに対応するチューターおよびレクチャーオリジネートのメモを収集し、一貫性と正しさを分析した。
• 同じ授業資料で使用された演習に対して、ChatGPT 3.5を用いてコード解決策を生成した。
• AIが生成したコード出力と人間が作成した解決策を比較し、乖離、論理的欠陥、実装誤りを特定した。
• 学生、AIツール、教員との間のリアルタイムの相互作用を観察するための教室デモンストレーションを実施した。
• 誤りパターンと評価の課題に関する定性的分析を通じて、AI生成コードの信頼性と教育的含意を評価した。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT 3.5は、情報システムおよびコンピュータサイエンスの学部レベルの標準的プログラミング演習に対して、正しいかつ論理的に整合したコードをどれほど効果的に生成できるか？
• RQ2 AIが学術的プログラミングタスクを解く際に、最も一般的に導入されるプログラミング誤りの種類は何か？
• RQ3 経験豊富なチューターおよびレクチャーの作成した解決策と比較して、AI生成コードは正しさと教育的価値の面でどの程度差があるか？
• RQ4 ChatGPTの使用は、プログラミング授業における評価の整合性をどのようないくつかの側面で損なうか？
• RQ5 教育者は、学習成果を維持しつつAIへの過度な依存を最小限に抑えるために、どのようにプログラミング課題を再設計できるか？

主な発見

• ChatGPT 3.5は、文法的に正しいが論理的に誤ったコードを頻繁に生成し、一般的なプログラミングタスクで誤った出力を引き起こしていた。
• 一般的な誤りの種類には、誤ったループ条件、エッジケースの不適切な処理、データ構造の誤った使用が含まれており、プロンプトが明確であっても同様に発生した。
• AI生成コードは、曖昧さ、モジュール性、ベストプラクティスの欠如により、デバッグや拡張が困難な場合が多かった。
• AI生成コードに基づく評価は、概念的理解や問題解決能力よりも文法的正しさを重視するリスクをはらんでいた。
• チューターおよびレクチャーのメモは、しばしばアルゴリズム的思考やエッジケースの取り扱いに重点を置いていたが、これらはChatGPTの出力では頻繁に欠落していた。
• 本研究は、AI生成コードが批判的に評価されない限り学習に悪影響を及える可能性があることを示しており、教育的根拠に基づいた課題設計の必要性を強調している。