[논문 리뷰] LLM-based Multimodal Feedback Produces Equivalent Learning and Better Student Perceptions than Educator Feedback

Chloe Qianhui Zhao, Jie Cao외 2명|arXiv (Cornell University)|2026. 01. 21.

Intelligent Tutoring Systems and Adaptive Learning인용 수 0

한 줄 요약

본 연구는 학습 향상에서 교육자 피드백과 비슷한 실시간 AI 촉진 다중모달 피드백 시스템을 제시하며, 인지부하 감소를 포함한 명확성, 구체성, 간결성, 동기 부여, 만족도에서 이를 능가한다.

ABSTRACT

Providing timely, targeted, and multimodal feedback helps students quickly correct errors, build deep understanding and stay motivated, yet making it at scale remains a challenge. This study introduces a real-time AI-facilitated multimodal feedback system that integrates structured textual explanations with dynamic multimedia resources, including the retrieved most relevant slide page references and streaming AI audio narration. In an online crowdsourcing experiment, we compared this system against fixed business-as-usual feedback by educators across three dimensions: (1) learning effectiveness, (2) learner engagement, (3) perceived feedback quality and value. Results showed that AI multimodal feedback achieved learning gains equivalent to original educator feedback while significantly outperforming it on perceived clarity, specificity, conciseness, motivation, satisfaction, and reducing cognitive load, with comparable correctness, trust, and acceptance. Process logs revealed distinct engagement patterns: for multiple-choice questions, educator feedback encouraged more submissions; for open-ended questions, AI-facilitated targeted suggestions lowered revision barriers and promoted iterative improvement. These findings highlight the potential of AI multimodal feedback to provide scalable, real-time, and context-aware support that both reduces instructor workload and enhances student experience.

연구 동기 및 목표

• 대규모 강좌에서 시의적절한 다중모달 피드백을 제공하는 확장성 문제를 해결한다.
• 텍스트, 비주얼, 오디오를 강의 자료와 통합하는 실시간 AI-촉진 다중모달 피드백 시스템을 개발한다.
• 교육자 피드백과 비교한 학습 효과, 학습자 참여도, 인식된 피드백 품질을 평가한다.
• 관련 강의 자료에 피드백을 근거로 삼기 위해 retrieval-augmented generation을 활용한다.
• 학습자 경험을 보존하거나 향상시키면서 강사 업무량 감소 가능성을 평가한다.

제안 방법

• iframe를 통해 연습 문제 아래에 임베디드된 실시간 AI 다중모달 피드백 인터페이스의 설계.
• 입력으로는 문제, 학습자 답안, 연구자가 설계한 프롬프트, 강의 슬라이드의 지식 베이스를 포함한다.
• 출력은 시각적으로 향상된 교정 피드백과 슬라이드 페이지 참조 및 선택적 AI 음성 내레이션을 결합한다.
• 구조화된 텍스트 피드백은 낮은 표현 설정의 gpt-5로 생성되어 점수, 진술, 설명, 조언을 포함하는 JSON 스키마로 반환된다.
• Retrieval-augmented generation (RAG)은 질문과의 코사인 유사도에 따라 상위 3개의 슬라이드 페이지를 검색해 피드백의 근거를 제공한다.
• 온라인 크라우드소싱 무작위 대조 실험은 학습 향상, 참여도, 인식에 대해 AI 다중모달 피드백과 고정된 교육자 피드백을 비교한다.

Figure 1 . A screenshot of the learner interface of the AI multimodal feedback system when embedding for an open-ended learning activity. Above the embedded interface: (1) the practice question. On the right side: (2) learner’s answer panel. On the left side: (3) visually enhanced AI corrective feed

실험 결과

연구 질문

• RQ1 RQ1: AI-기반 다중모달 피드백은 학습을 얼마나 효과적으로 지원하는가?
• RQ2 RQ2: 학습자는 AI-기반 다중모달 피드백과 어떻게 상호작용하는가?
• RQ3 RQ3: 학습자는 AI-기반 다중모달 피드백의 가치와 품질을 어떻게 인식하는가?

주요 결과

• AI 다중모달 피드백은 원래의 교육자 피드백과 동일한 학습 향상을 가져왔다.
• AI 다중모달 피드백은 인지된 명확성, 구체성, 간결성, 동기 부여, 만족도 및 인지 부하 감소에서 교육자 피드백보다 유의하게 앞섰다.
• AI 피드백은 정확성, 신뢰, 수용 측면에서 교육자 피드백과 유사한 수준을 유지했다.
• 교육자 피드백은 MCQ 제출을 더 많이 촉진했고, AI-촉진 피드백은 수정 장벽을 낮추고 OEQ에 대한 반복 개선을 촉진했다.
• AI 피드백은 상당한 시간 효율을 제공하며 인간 텍스트 피드백 작성보다 약 2.8배 더 시간 효율적이다.
• 태스크 유형에 따라 학습자 참여 패턴이 달랐으며, 기본 피드백 하에서 MCQ 시도가 더 많았고 AI 피드백 하에서 OEQ 제출이 더 많아지는 경향이 있었다.

(a) Business-as-usual feedback