[論文レビュー] Simulating Classroom Education with LLM-Empowered Agents

Zheyuan Zhang, Daniel Zhang-Li+10 more|arXiv (Cornell University)|Jun 27, 2024

Multi-Agent Systems and Negotiation被引用数 6

ひとこと要約

本論文は、教師、アシスタント、学生の役割をモデル化する新しいセッションコントローラを備えた、LLMにより動作するマルチエージェントの教室シミュレーションであるSimClassを提案し、実ユーザー実験を用いて相互作用・学習体験・出現的挙動を評価する。SimClassは従来の教室パターンを再現し、ユーザーの学習体験を向上させることを示している。

ABSTRACT

Large language models (LLMs) have been applied across various intelligent educational tasks to assist teaching. While preliminary studies have focused on task-specific, independent LLM-empowered agents, the potential of LLMs within a multi-agent collaborative framework for classroom simulation with real user participation remains unexplored. In this work, we propose SimClass, a multi-agent classroom simulation teaching framework. We recognize representative class roles and introduce a novel class control mechanism for automatic classroom teaching, and conduct user experiments in two real-world courses. Using the Flanders Interactive Analysis System and Community of Inquiry theoretical frameworks from educational analysis, we demonstrate that LLMs can simulate a dynamic learning environment for users with active teacher-student and student-student interactions. We also observe group behaviors among agents in SimClass, where agents collaborate to create enlivening interactions in classrooms to improve user learning process. We hope this work pioneers the application of LLM-empowered multi-agent systems in virtual classroom teaching.

研究の動機と目的

• 代表的な教室の役割を定義し、多エージェント設定での教育を模擬する新しいクラス制御機構を設計する。
• LLM搭載エージェントが実ユーザーとともに従来の教室の相互作用を再現できるか評価する。
• 教育理論の枠組みを用いて学習体験の質とプレゼンスを評価する。
• 模擬授業中のエージェント間の出現的な集団行動と協働を観察する。

提案手法

• 教育行動（TI, ID, EC, CM）に対応する複数のエージェント役割（Teacher、Assistant、Class Clown、Deep Thinker、Note Taker、Inquisitive Mind）を構築する。
• Class State Receptor、Function Executor、Manager Agentを備えたセッションコントローラを開発し、教室の対話フローを推進する。
• エージェントのバックボーンLLMとしてGPT-4を用い、実在の2つの講義を48名の学生で実施（データフィルタリング後は38名に削減）。
• Flanders Interaction Analysis System（FIAS）を適用して口頭相互作用を定量化し教室パターンに対応づける。
• CoI理論を適用して、学習者体験における認知的、教育的、社会的プレゼンスを測定する。
• アブレーション研究を実施する（classmatesなしのSimClass、インタラクションなしのSimClass）エージェントと相互作用の影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 LLMsで駆動されるマルチエージェント教室は、実際の教員–学生の相互作用をどの程度模倣できるか。
• RQ2 学生はLLM駆動の教室で高いプレゼンスを感じ、効果的に学べるか。
• RQ3 複数のLLM搭載エージェントとユーザー参加を統合したとき、どのような出現的な教室行動が生じるか。
• RQ4 エージェントの役割と制御機構は、学習を促進する魅力的で活気づく相互作用を生み出すか。

主な発見

• SimClassは従来の教室と類似の相互作用パターンと特徴を示す。
• 複数の教室エージェントはユーザーの関与とプレゼンス感を高める。
• 制御機構は、協働授業、討論、情動的サポート、規律管理などの出現的な行動を引き出す。
• Classmateエージェントはユーザー体験における認知的および社会的プレゼンスを高める。
• HSUコースは完全設定でより良いユーザー体験を示しており、特定のクラスに対する同僚学習の利点を示唆する。
• 同僚がいる場合と多様なエージェント役割があると、ユーザーの発話時間が長くなることを示す相互作用データ。