[論文レビュー] AI Chatbots as Multi-Role Pedagogical Agents: Transforming Engagement in CS Education

Chen Cao, Zijian Ding+2 more|arXiv (Cornell University)|Aug 8, 2023

Online Learning and Analytics被引用数 6

ひとこと要約

本研究では、GPT-3を用いて教育的役割を明確にした複数役割AIチャットボットシステムをコンピュータサイエンス教育に導入し、学習意欲と学習効果を向上させることを目的としている。結果として、大規模言語モデル（LLM）が生成する返答は正確で、流暢で、共感的かつ関連性が高く、特に高次認知的質問において顕著である。これは、パーソナライズ可能でスケーラブルな学習支援の強力な可能性を示している。

ABSTRACT

This study investigates the use of Artificial Intelligence (AI)-powered, multi-role chatbots as a means to enhance learning experiences and foster engagement in computer science education. Leveraging a design-based research approach, we develop, implement, and evaluate a novel learning environment enriched with four distinct chatbot roles: Instructor Bot, Peer Bot, Career Advising Bot, and Emotional Supporter Bot. These roles, designed around the tenets of Self-Determination Theory, cater to the three innate psychological needs of learners - competence, autonomy, and relatedness. Additionally, the system embraces an inquiry-based learning paradigm, encouraging students to ask questions, seek solutions, and explore their curiosities. We test this system in a higher education context over a period of one month with 200 participating students, comparing outcomes with conditions involving a human tutor and a single chatbot. Our research utilizes a mixed-methods approach, encompassing quantitative measures such as chat log sequence analysis, and qualitative methods including surveys and focus group interviews. By integrating cutting-edge Natural Language Processing techniques such as topic modelling and sentiment analysis, we offer an in-depth understanding of the system's impact on learner engagement, motivation, and inquiry-based learning. This study, through its rigorous design and innovative approach, provides significant insights into the potential of AI-empowered, multi-role chatbots in reshaping the landscape of computer science education and fostering an engaging, supportive, and motivating learning environment.

研究の動機と目的

• AI駆動の介入によって、コンピュータサイエンス教育における低調な学習意欲と高い生徒数対教員比の問題を解決すること。
• 抽象的でわかりにくい内容と、パーソナライズされたフィードバックの欠如によって生じる、 Inquiryベースの学習の障壁を克服すること。
• 自己決定理論に基づき、能力感、自律性、関係性のニーズを満たす多様な役割を有するチャットボットシステムを設計・評価すること。
• チャットボットの役割割分担と対話の質を最適化し、コンピュータサイエンス課程における学習動機、理解度、継続性を向上させること。
• 教育者、AI開発者、政策立案者に対して、高等教育分野における責任あるAI統合に向けた実用的知見を提供すること。

提案手法

• 実際のコンピュータサイエンス教育課程で実施する、反復的プロトタイピング、導入、評価、改善を含む、設計基盤研究（DBR）アプローチを採用する。
• 4つの専門的チャットボット（教員ボット：学術的ガイダンス、同級生ボット：協働学習、キャリアアドバイザー・ボット：職業的関連性、感情的サポート・ボット：感情的レジリエンス）を統合したフルスタックシステムを実装する。
• 学生の質問の種別と複雑さに基づき、チャットボットマネージャーが最適な役割割分担を実行するルーティングを行う。
• 対話ログとアンケートデータの分析に、トピックモデリング、センチメント分析、シーケンス解析などの自然言語処理（NLP）技術を適用する。
• 200名の大学院生を対象に、ABC実験デザインを実施し、3つの条件（人間のチューター、単一チャットボット、複数役割チャットボット）を比較する。
• 正確性、流暢さ、共感性、関与度、関連性という5次元の指標を開発し、専門家によるスクリーニング、真値照合、自動分析を用いてLLM生成返答の評価を実施する。

Figure 1: System architecture design of 4 distinct bots.

実験結果

リサーチクエスチョン

• RQ1 複数役割チャットボットの使用が、学生の質問の質と量にどのように影響を与えるか？
• RQ2 複数役割チャットボットは、学生の学習体験、関与度、学習動機にどのように影響を与えるか？
• RQ3 学生は、チャットボットの個別的および総合的な役割をどのように認識しているか？
• RQ4 チャットボットの役割特化が、異なる認知的レベルにおける返答品質に与える影響は何か？
• RQ5 感情状態や対話パターンの傾向は、学生の関与度と感情状態とどのように相関しているか？

主な発見

• 大規模言語モデル（LLM）が生成する返答は、正確性と流暢さに優れており、学生の質問の認知的レベルが高くなるほど性能が向上した。
• チャットボットは、特に高次思考の質問に対して、強い共感性と関与度を示したことが、研究者によるコード化とセンチメント分析で裏付けられた。
• 意味的類似度とキーワード共起分析により、返答が元の質問に対して高い関連性と一貫性を保っていることが確認された。
• 複数役割チャットボットシステムは、多様な学生のニーズを効果的に満たしており、チャットボットマネージャーが質問を適切なエージェントに効果的にルーティングしていた。
• 学生は、特に感情的サポート・ボットとキャリアアドバイザー・ボットのおかげで、動機付けが向上し、支援を強く感じており、継続的な関与が実現した。
• 5次元評価指標は、返答品質の微細な側面を的確に捉えており、教育的文脈におけるLLM性能の信頼性ある評価を可能にした。

Figure 2: Site map of DS Mind Palace gamification learning system.