[論文レビュー] Tailoring Education with GenAI: A New Horizon in Lesson Planning

Kostas Karpouzis, Dimitris Pantazatos+2 more|arXiv (Cornell University)|Feb 12, 2024

Open Education and E-Learning被引用数 7

ひとこと要約

この論文は、対話型メガプロンプトを用いて学習計画を多様な学習者に合わせる GenAI ベースの学習シナリオアシスタントを提案し、言語と教育レベルを跨ぐ混合手法評価を行う。

ABSTRACT

The advent of Generative AI (GenAI) in education presents a transformative approach to traditional teaching methodologies, which often overlook the diverse needs of individual students. This study introduces a GenAI tool, based on advanced natural language processing, designed as a digital assistant for educators, enabling the creation of customized lesson plans. The tool utilizes an innovative feature termed 'interactive mega-prompt,' a comprehensive query system that allows educators to input detailed classroom specifics such as student demographics, learning objectives, and preferred teaching styles. This input is then processed by the GenAI to generate tailored lesson plans. To evaluate the tool's effectiveness, a comprehensive methodology incorporating both quantitative (i.e., % of time savings) and qualitative (i.e., user satisfaction) criteria was implemented, spanning various subjects and educational levels, with continuous feedback collected from educators through a structured evaluation form. Preliminary results show that educators find the GenAI-generated lesson plans effective, significantly reducing lesson planning time and enhancing the learning experience by accommodating diverse student needs. This AI-driven approach signifies a paradigm shift in education, suggesting its potential applicability in broader educational contexts, including special education needs (SEN), where individualized attention and specific learning aids are paramount

研究の動機と目的

• GenAIドリブンな授業計画を通じてパーソナライズ教育を動機づける。
• 学習シナリオをカスタマイズする対話型プロンプト手法を開発する。
• 定量的・定性的指標を通じて GenAI による授業計画の有効性を評価する。

提案手法

• 授業計画作成を導く対話型の双方向プロンプトワークフローを導入する。
• ポジションプロンプト、対話プロンプト、フォロアッププロンプトを定義してユーザー要件を詳細に収集する。
• エンドユーザのフィードバックを用いて授業計画を反復的に開発・評価する。
• 生成コンテンツを評価するために言語・主題分析（ spaCy, LDA ）を適用する。
• 複数のLLM（ChatGPT 3.5, ChatGPT 4, Llama 系, Google Bard）および言語（英語、ギリシャ語）でテストする。

実験結果

リサーチクエスチョン

• RQ1 GenAI は多様な学習者のニーズに合わせた個別化された授業計画を生成する上でどの程度効果的か？
• RQ2 対話型プロンプトフレームワークは科目・レベルを超えて高品質で基準に沿った教育コンテンツを提供できるか？
• RQ3 教育コンテンツ生成における言語とモデル間での GenAI のパフォーマンスの違いは何か？

主な発見

GenAI モデル	ChatGPT 3.5 (09/2023)	ChatGPT 4 (09/2023)	Llama 2 7B (07/2023)	Llama 2 13B (07/2023)	Llama 2 70B (07/2023)	Google Bard (2023.09.27)
Relevance	4.66	5	4	4.66	5	4
Accuracy	3.66	4.66	4	4	3	4
Creativity	3.33	4.66	4.33	5	5	3.33
Engagement	3.33	5	4	4.33	5	3
Personalization	3.66	5	3.66	4.33	5	3
Coherence	5	5	4.66	5	5	3
Response Time	4.66	3.66	4.66	5	3.33	5

• GenAI 生成の授業計画は計画時間を大幅に短縮し、多様なニーズに対応できる。
• 対話型プロンプト手法は授業計画の対話的でユーザー中心の設計プロセスを可能にする。
• モデル間の評価では言語とモデルによって性能が異なることが示され、英語とギリシャ語では新しいモデル（ChatGPT 4、Llama 70B）が関連性と個別化で一般に高く評価された。
• 言語分析（spaCy, LDA）は応答の内容品質と主題カバレッジに関する洞察を提供する。
• いくつかのモデルではリソースの正確性にばらつきがあり、存在しないリンクなど人間による検証の必要性を強調する。