[論文レビュー] Hybrid LLM-Embedded Dialogue Agents for Learner Reflection: Designing Responsive and Theory-Driven Interactions

Paras Sharma, Yueping Sha+7 more|arXiv (Cornell University)|Feb 24, 2026

Intelligent Tutoring Systems and Adaptive Learning被引用数 0

ひとこと要約

要約: 本研究は、規則ベースのSRLに基づくフレームワークとLLMを統合したハイブリッド対話システムを開発し、文化的に配慮したロボティクスキャンプにおける学習者の内省を引き出し、より豊かな内省を実現する一方で、反復とプロンプトの不整合問題に直面した。

ABSTRACT

Dialogue systems have long supported learner reflections, with theoretically grounded, rule-based designs offering structured scaffolding but often struggling to respond to shifts in engagement. Large Language Models (LLMs), in contrast, can generate context-sensitive responses but are not informed by decades of research on how learning interactions should be structured, raising questions about their alignment with pedagogical theories. This paper presents a hybrid dialogue system that embeds LLM responsiveness within a theory-aligned, rule-based framework to support learner reflections in a culturally responsive robotics summer camp. The rule-based structure grounds dialogue in self-regulated learning theory, while the LLM decides when and how to prompt deeper reflections, responding to evolving conversation context. We analyze themes across dialogues to explore how our hybrid system shaped learner reflections. Our findings indicate that LLM-embedded dialogues supported richer learner reflections on goals and activities, but also introduced challenges due to repetitiveness and misalignment in prompts, reducing engagement.

研究の動機と目的

• 自律学習（SRL）理論に基づく内省を対話設計の指針とする。
• 規則ベースの有限状態機械とLLM駆動のプロンプト発生器を組み合わせたハイブリッド対話システムを開発する。
• 文脈に応じたプロンプトを実現しつつ、教育的整合性と安全性を確保する。
• ロボティクスキャンプにおける中学生の内省に対する構造とAIの応答性がどのように影響するかを検討する。

提案手法

• SRLに基づく規則ベースの有限状態マシン（FSM）と深い内省を促すLLMを備えた二段階のハイブリッドアーキテクチャを設計する。
• learnerの応答を詳述する必要性を判断する関連性チェックと、必要に応じてターゲットを絞った生成を行う二段階のLLMプロセスを実装する。
• 数ショットプロンプトと動的なフィールド情報を用いてLLMの関連性判断と文脈フォローアップを導く。
• フォローアップへのLLM関与を限定し、理論的なプロンプトを保持して教育的意図を維持する。
• 中学生の学習者を対象とした二週間の文化的配慮を要するロボティクス夏期キャンプでシステムを展開する。
• 対話の定性的分析と対話後インタビューを通じて、内省内容と関与の問題を特定して評価する。

Figure 1 . This diagram depicts our hybrid dialogue system architecture modeled as a Finite State Machine and illustrates how logic flows across the rule-based prompts, learner responses, and conditional transitions at each system-learner turn.

実験結果

リサーチクエスチョン

• RQ1 RQ1: オープンエンド環境で中学生の内省を効果的に喚起した箇所はどこか。
• RQ2 RQ2: さらなる内省を促進する機会は何だったか。
• RQ3 RQ3: 内省的対話に対する学習者の認識はどうだったか。

主な発見

• LLM組み込み対話は、学習者の目標と活動に関するより詳しい内省を支えた。
• 文脈に沿ったプロンプトは、学習者が目標/計画を明確にしたとき内省の深さを高めた。
• 反復的な促しと文脈や情動の不整合は関与を低下させた。
• ハイブリッド設計は理論的な基盤を維持しつつ、応答性のあるフォローアップを可能にした。
• プロンプトとプロンプトガイダンスを三回の反復で調整し、文脈的適合性を確保した。
• 学習者はシステムの促しを評価し、プロンプトの質に応じて関与に差が見られた。

Figure 2 . The two stages of LLM in our dialogue system: (1) Relevance Check, where a dynamic prompt with prompt-specific information and few-shot examples determines binary relevance; and (2) Contextual Generation, where, upon a NO in relevance check, a new prompt incorporating prompt-specific info