[論文レビュー] GuideAI: A Real-time Personalized Learning Solution with Adaptive Interventions

Ananya Shukla, Chaitanya Modi+2 more|arXiv (Cornell University)|Jan 28, 2026

Visual and Cognitive Learning Processes被引用数 0

ひとこと要約

GuideAIは、マルチモーダルデータを用いて認知-情動状態を推定し、テキスト・画像・音声・映像モダリティを横断して個別化介入を提供する、生体センサーを組み込んだリアルタイム適応学習システム。予備研究では、LLMベースの指導で保持率が改善され、認知負荷が低減したことが示された。

ABSTRACT

Large Language Models (LLMs) have emerged as powerful learning tools, but they lack awareness of learners' cognitive and physiological states, limiting their adaptability to the user's learning style. Contemporary learning techniques primarily focus on structured learning paths, knowledge tracing, and generic adaptive testing but fail to address real-time learning challenges driven by cognitive load, attention fluctuations, and engagement levels. Building on findings from a formative user study (N=66), we introduce GuideAI, a multi-modal framework that enhances LLM-driven learning by integrating real-time biosensory feedback including eye gaze tracking, heart rate variability, posture detection, and digital note-taking behavior. GuideAI dynamically adapts learning content and pacing through cognitive optimizations (adjusting complexity based on learning progress markers), physiological interventions (breathing guidance and posture correction), and attention-aware strategies (redirecting focus using gaze analysis). Additionally, GuideAI supports diverse learning modalities, including text-based, image-based, audio-based, and video-based instruction, across varied knowledge domains. A preliminary study (N = 25) assessed GuideAI's impact on knowledge retention and cognitive load through standardized assessments. The results show statistically significant improvements in both problem-solving capability and recall-based knowledge assessments. Participants also experienced notable reductions in key NASA-TLX measures including mental demand, frustration levels, and effort, while simultaneously reporting enhanced perceived performance. These findings demonstrate GuideAI's potential to bridge the gap between current LLM-based learning systems and individualized learner needs, paving the way for adaptive, cognition-aware education at scale.

研究の動機と目的

• 現在のLLMベースのチューターのリアルタイム学習者状態認識とマルチモーダル適応の限界を特定する。
• マルチモーダル信号から認知-情動状態を推定する生体センサーを用いたクローズドループ学習フレームワークを提案する。
• テキスト、画像、音声、映像モダリティをサポートする多モーダルGuideAIシステムを開発する。
• 形成的研究と予備的なユーザ研究を通じてGuideAIを評価し、学習成果と認知負荷を評価する。
• 再現性とさらなる研究を促進するためにGuideAIコードベースをオープンソース化する。

提案手法

• 学習者のニーズと設計影響を特定するためのN=66の形成的研究。
• 三モジュールのGuideAIアーキテクチャ：センサーモジュール（生体認証・行動データ）、処理モジュール（信号処理）、推定モジュール（状態推定と介入）。
• 生体センサデータストリームには視線追跡、HRV、姿勢、ノート取り行動を含み、信号はLab Streaming Layer（LSL）で時系列同期。
• 状態推定は正規化済み・ベースライン調整特徴量から六つの認知次元（認知負荷、注意、関与、理解、ストレス、疲労）を計算。
• 介入はLLM/VLM/Audio LLMを用いたトーン適応とモダリティ別戦略で提供。
• 介入閾値はベースライン相対Zスコアで、閾値|z|≥1.0を中程度の偏差、|z|≥1.5を明瞭な偏差として、10秒の持続ウィンドウで適用。

Figure 1 . GuideAI’s Comprehensive Adaptive Learning Interface. The image illustrates the multi-modal, biosensor-driven approach of the personalized system across different learning modes—text-based, image-based, audio-based and video-based. Each panel demonstrates real-time adaptation to the learne

実験結果

リサーチクエスチョン

• RQ1 生体センサーを用いたLLMシステムは、複数モダリティにわたるリアルタイムの認知-情動学習者状態を推定できるか。
• RQ2 推定状態に基づくリアルタイム適応介入は、非個別ベースラインと比べて学習成果を改善し認知負荷を低減できるか。
• RQ3 介入をテキスト、画像、音声、映像モダリティ間で効果的に調整し、学習の流れを維持できるか。
• RQ4 視線、HRV、姿勢、ノートデータを集約する端末間リアルタイム教育プラットフォームの実現性はどれくらいか。
• RQ5 GuideAIアプローチは、様々な知識領域と学習者集団に対して拡張性・一般化可能性があるか。

主な発見

• 予備的研究（N=25）では、非個別ベースラインと比較して問題解決および想起ベースの知識評価で統計的に有意な改善を示した。
• 参加者はNASA-TLXの心理的負荷、フラストレーション、努力などの指標が低下し、知覚的パフォーマンスが向上したと報告した。
• 生体指標と行動手掛かりにより、コンテンツのペース、難易度の調整、生理的介入（例：ボックス呼吸、姿勢示唆）など、リアルタイム適応が効果的に実現した。
• GuideAIは4つの学習モダリティ（テキスト、画像、音声、映像）をサポートし、認知負荷と関与レベルに応じてモダリティ特有の介入を調整する。
• 形成的研究は、マルチモーダル支援、リアルタイム適応、生理学的認識、個別化学習経路の設計影響を示唆した。

Figure 2 . Participant openness to working with a personalized AI learning assistant on a scale from 1-10. The distribution shows strong receptivity, with 50 out of 66 participants (75.7%) rating their openness at 7 or higher, and a median rating of 8.