[論文レビュー] Generative AI for Enhancing Active Learning in Education: A Comparative Study of GPT-3.5 and GPT-4 in Crafting Customized Test Questions

Hamdireza Rouzegar, Masoud Makrehchi|arXiv (Cornell University)|Jun 20, 2024

Intelligent Tutoring Systems and Adaptive Learning被引用数 4

ひとこと要約

本研究では、GPT-3.5とGPT-4が、アクティブラーニングフレームワークを用いて、中学校9年生向けにカスタマイズされ、適応的な数学のテスト問題を生成する方法を調査している。GPT-4を『教師』、GPT-3.5を『生徒』として反復的なフィードバックループに配置することで、モデルはリアルタイムでの学習適応を模倣し、GPT-4は優れた問題品質を示し、GPT-3.5は指導後、複雑な問題に対して性能向上を示した。これは、LLMが個別化教育を強化する可能性を示している。

ABSTRACT

This study investigates how LLMs, specifically GPT-3.5 and GPT-4, can develop tailored questions for Grade 9 math, aligning with active learning principles. By utilizing an iterative method, these models adjust questions based on difficulty and content, responding to feedback from a simulated 'student' model. A novel aspect of the research involved using GPT-4 as a 'teacher' to create complex questions, with GPT-3.5 as the 'student' responding to these challenges. This setup mirrors active learning, promoting deeper engagement. The findings demonstrate GPT-4's superior ability to generate precise, challenging questions and notable improvements in GPT-3.5's ability to handle more complex problems after receiving instruction from GPT-4. These results underscore the potential of LLMs to mimic and enhance active learning scenarios, offering a promising path for AI in customized education. This research contributes to understanding how AI can support personalized learning experiences, highlighting the need for further exploration in various educational contexts

研究の動機と目的

• GPT-3.5とGPT-4が、中学校9年生の数学カリキュラムに適合した、パーソナライズされたテスト問題を効果的に生成できるかを評価すること。
• GPT-4を『教師』、GPT-3.5を『生徒』として用いることで、反復的学習と適応を模擬するアクティブラーニング環境を構築すること。
• LLMが問題の難易度の上昇とフィードバックにどのように反応するかを検討し、人間の学習プロセスに類似した進行を模倣すること。
• 動的で適応的な問題生成を通じて、LLMが個別化教育を支援する可能性を評価すること。
• LLMを教育技術分野に統合するための知見を提供し、スケーラブルで生徒中心の学習体験を実現すること。

提案手法

• 反復的な問題生成とフィードバックループを実装し、GPT-3.5がGPT-4が作成した問題に回答し、回答の質と難易度に基づいて調整を行った。
• GPT-4を『教師』として用い、中学校9年生向けの『数と式』および『金融数学』分野において、徐々に複雑になる問題を生成した。この際、特定の認知的レベルを標的にした。
• GPT-3.5は『生徒』としてこれらの問題に回答し、その回答の正しさと深さを評価することで、その後の問題の洗練に役立てた。
• モデルのパフォーマンスに応じて問題の難易度や内容を調整することで、フォーマティブアセスメントを模倣する形で、アクティブラーニングを再現した。
• シミュレートされた『生徒』モデルがフィードバックを提供し、システムが反復的に問題の質と学習目標との整合性を向上させた。
• 評価は、さまざまな難易度レベルにおける問題の正確性、複雑さ、適応性に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、中学校9年生の数学向けに、高品質でカリキュラムに適合し、段階的に難易度が上がるテスト問題を生成できるか？
• RQ2 GPT-4からの問題とフィードバックにさらされた後、GPT-3.5の複雑な問題に対するパフォーマンスはどのように向上するか？
• RQ3 GPT-4（教師）とGPT-3.5（生徒）の相互作用が、AIシステムにおいてアクティブラーニングのダイナミクスをどの程度模倣できるか？
• RQ4 LLMはフィードバックや認識された難易度に応じて、どのように問題生成を適応させるか？これはアクティブラーニングの原則を反映しているか？
• RQ5 GPT-3.5とGPT-4は、パーソナライズされた教育コンテンツを生成する上で、それぞれどのような相違点と限界を示すか？

主な発見

• GPT-4は、中学校9年生の数学のトピック全般にわたり、正確で、難易度が高く、カリキュラムに適合したテスト問題を生成する能力に優れていた。
• GPT-3.5は、GPT-4からの的確な指導とフィードバックを受けた後、複雑な問題を処理する能力に顕著な向上を示し、適応的学習の可能性を示した。
• GPT-4とGPT-3.5の間の反復的フィードバックループは、アクティブラーニングを効果的に模倣しており、回答の質に応じて問題の難易度と内容が調整された。
• システムのパフォーマンスは、不確実性サンプリングの原則と一致しており、GPT-3.5は特に難しい問題で最も向上が見られた。これは認知的挑戦に向き合っている可能性を示唆している。
• GPT-4が『教師』として果たす役割が、問題の質と深さを著しく向上させ、複雑さと正確性の両面でGPT-3.5を上回った。
• 結果から、LLMは人間の指導と学習のダイナミクスを模倣するように構造化可能であり、スケーラブルな個別化教育のモデルを提供できる可能性がある。