[논문 리뷰] GuideAI: A Real-time Personalized Learning Solution with Adaptive Interventions

Ananya Shukla, Chaitanya Modi외 2명|arXiv (Cornell University)|2026. 01. 28.

Visual and Cognitive Learning Processes인용 수 0

한 줄 요약

GuideAI는 멀티모달 데이터를 활용해 인지-정서 상태를 추론하고 텍스트, 이미지, 오디오, 비디오 모달리티에 걸쳐 맞춤형 개입을 제공하는 생체센서 증강 실시간 적응 학습 시스템을 제시한다. 예비 연구에서 LLM 기반 튜터링으로 학습 유지력과 인지 부하 감소가 관찰되었다.

ABSTRACT

Large Language Models (LLMs) have emerged as powerful learning tools, but they lack awareness of learners' cognitive and physiological states, limiting their adaptability to the user's learning style. Contemporary learning techniques primarily focus on structured learning paths, knowledge tracing, and generic adaptive testing but fail to address real-time learning challenges driven by cognitive load, attention fluctuations, and engagement levels. Building on findings from a formative user study (N=66), we introduce GuideAI, a multi-modal framework that enhances LLM-driven learning by integrating real-time biosensory feedback including eye gaze tracking, heart rate variability, posture detection, and digital note-taking behavior. GuideAI dynamically adapts learning content and pacing through cognitive optimizations (adjusting complexity based on learning progress markers), physiological interventions (breathing guidance and posture correction), and attention-aware strategies (redirecting focus using gaze analysis). Additionally, GuideAI supports diverse learning modalities, including text-based, image-based, audio-based, and video-based instruction, across varied knowledge domains. A preliminary study (N = 25) assessed GuideAI's impact on knowledge retention and cognitive load through standardized assessments. The results show statistically significant improvements in both problem-solving capability and recall-based knowledge assessments. Participants also experienced notable reductions in key NASA-TLX measures including mental demand, frustration levels, and effort, while simultaneously reporting enhanced perceived performance. These findings demonstrate GuideAI's potential to bridge the gap between current LLM-based learning systems and individualized learner needs, paving the way for adaptive, cognition-aware education at scale.

연구 동기 및 목표

• 현 실시간 학습자 상태 인식 및 다중모달 적응에서의 현행 LLM 기반 튜터의 한계를 식별한다.
• 다중 모달 신호로 인지-정서 상태를 추정하는 생체센서 증강 폐루프 학습 프레임워크를 제안한다.
• 텍스트, 이미지, 오디오, 비디오 모달리티를 지원하는 다중모달 GuideAI 시스템을 개발한다.
• 학습 결과와 인지 부하를 평가하기 위해 형성적 연구 및 예비 사용자 연구를 통해 GuideAI를 평가한다.
• 재현성과 추가 연구를 가능하게 하려면 GuideAI 코드베이스를 오픈 소스화한다.

제안 방법

• 학습자 요구와 설계 시사점을 식별하기 위한 N=66의 형성적 연구.
• 세 가지 모듈로 이루어진 GuideAI 아키텍처: Sensor Module(생체측정 및 행동 데이터), Processing Module(신호 처리), Inference Module(상태 추정 및 개입).
• 생체센서 데이터 스트림에는 시선 추적, HRV, 자세 및 필기 행동이 포함되며, 신호는 Lab Streaming Layer (LSL)를 통해 시간 동기화된다.
• 상태 추정은 정규화되고 기준선 보정된 피처로부터 여섯 가지 인지 차원(인지 부하, 주의, 참여도, 이해도, 스트레스, 피로)을 계산한다.
• 개입은 LLM/VLM/Audio LLM을 통해 톤 조정 및 모달리티별 전략으로 제공된다.
• 개입 임계값은 기준선 상대 Z-점수로, 임계값 |z|≥1.0은 보통 편차, |z|≥1.5는 현저한 편차를 나타내며 10초 지속 창에서 강제 적용된다.

Figure 1 . GuideAI’s Comprehensive Adaptive Learning Interface. The image illustrates the multi-modal, biosensor-driven approach of the personalized system across different learning modes—text-based, image-based, audio-based and video-based. Each panel demonstrates real-time adaptation to the learne

실험 결과

연구 질문

• RQ1 생체센서 증강 LLM 시스템이 다중 모달리티에 걸쳐 실시간 인지-정서 학습자 상태를 추론할 수 있는가?
• RQ2 추론된 상태를 기반으로 한 실시간 적응 개입이 비개인화 비교대조보다 학습 성과를 향상시키고 인지 부하를 줄이는가?
• RQ3 학습 흐름을 유지하기 위해 텍스트, 이미지, 오디오, 비디오 모달리티에 걸쳐 개입을 어떻게 효과적으로 맞춤화할 수 있는가?
• RQ4 시선, HRV, 자세 및 노트 데이터를 집계하는 크로스-디바이스 실시간 교육 플랫폼의 배치 가능성은 어느 정도인가?
• RQ5 GuideAI 접근법이 다양한 지식 영역과 학습자 모집단에 걸쳐 확장 가능하고 일반화될 수 있는가?

주요 결과

• 예비 연구(N=25)에서 비개인화 대조군에 비해 문제 해결 및 회상 기반 지식 평가에서 통계적으로 유의한 향상이 나타났다.
• 참가자들은 mental demand, frustration, and effort 등 NASA-TLX 지표의 감소와 향상된 지각된 수행 능력을 보고했다.
• 생체측정 및 행동 신호가 콘텐츠 페이싱, 난이도 조절, 생리적 개입(예: 박스 브리딩, 자세 시그널) 등과 같은 효과적인 실시간 적응을 가능케 했다.
• GuideAI는 네 가지 학습 모달리티(text, image, audio, video)를 지원하며, 인지 부하와 참여도에 맞춰 모달리티별 개입을 조정한다.
• 형성적 연구는 다중 모달 지원, 실시간 적응, 생리학적 인식 및 개인화된 학습 경로에 대한 설계 시사점을 제공했다.

Figure 2 . Participant openness to working with a personalized AI learning assistant on a scale from 1-10. The distribution shows strong receptivity, with 50 out of 66 participants (75.7%) rating their openness at 7 or higher, and a median rating of 8.