[논문 리뷰] Enhancing LLM-Based Feedback: Insights from Intelligent Tutoring Systems and the Learning Sciences

John Stamper, Ruiwei Xiao외 1명|arXiv (Cornell University)|2024. 05. 07.

Intelligent Tutoring Systems and Adaptive Learning인용 수 7

한 줄 요약

이 논문은 LLM 기반 피드백을 ITS 및 학습과학 이론에 기초하도록 옹호하며, 교육용 AI 시스템을 설계, 구현, 평가하는 방법을 제시한다.

ABSTRACT

The field of Artificial Intelligence in Education (AIED) focuses on the intersection of technology, education, and psychology, placing a strong emphasis on supporting learners' needs with compassion and understanding. The growing prominence of Large Language Models (LLMs) has led to the development of scalable solutions within educational settings, including generating different types of feedback in Intelligent Tutoring Systems. However, the approach to utilizing these models often involves directly formulating prompts to solicit specific information, lacking a solid theoretical foundation for prompt construction and empirical assessments of their impact on learning. This work advocates careful and caring AIED research by going through previous research on feedback generation in ITS, with emphasis on the theoretical frameworks they utilized and the efficacy of the corresponding design in empirical evaluations, and then suggesting opportunities to apply these evidence-based principles to the design, experiment, and evaluation phases of LLM-based feedback generation. The main contributions of this paper include: an avocation of applying more cautious, theoretically grounded methods in feedback generation in the era of generative AI; and practical suggestions on theory and evidence-based feedback design for LLM-powered ITS.

연구 동기 및 목표

• 이전 ITS 피드백 생성 방법(전문가 기반, 데이터 기반, LLM 기반)을 조사하여 이론적 기초와 실증적 효능을 식별한다.
• ITS 맥락에서 LLM 구동 피드백의 이론에 기초하고 증거에 기반한 디자인을 주장한다.
• 교육에서 효과적인 LLM 기반 피드백을 위한 설계, 실험 및 평가 전략의 청사진을 제공한다.

제안 방법

• ITS 피드백 생성 접근법(전문가가 생성한 학습자 모델, 데이터 기반 모델, LLM 기반 방법)을 검토하고 합성한다.
• 피드백 설계 결정들을 ITS 학습 이론 및 실증 평가에 매핑한다.
• LLM 기반 피드백에서 트리거, 프롬프트 엔지니어링, 콘텐츠 선택, 양식(모달리티), 평가에 대한 시사점과 실용적 지침을 제시한다.

실험 결과

연구 질문

• RQ1 LLM 기반 ITS에서 피드백 설계를 어떻게 기존 ITS 및 학습과학 연구에 기반하도록 할 수 있는가?
• RQ2 효과에 영향을 미치는 설계 결정(트리거링, 입력 정보, 내용, 양식, 평가)은 무엇인가?
• RQ3 LLM 피드백의 내용 및 평가를 안내할 수 있는 이론적 프레임워크(예: Bloom의 분류체계, KLI)는 무엇인가?
• RQ4 실제 교실에서 LLM 기반 피드백을 배치할 때의 윤리적 및 실용적 고려사항은 무엇인가?

주요 결과

• LLM 기반 피드백은 확장성을 제공하지만 표면적 프롬프트를 넘어서는 이론에 기반한 설계가 필요하다.
• 피드백은 학습과학 프레임워크에 의해 안내되어 콘텐츠 유형 및 교육 목표를 최적화해야 한다.
• 프롬프트 엔지니어링은 학생 모델 및 인지 상태 정보를 통합하여 피드백을 맞춤화해야 한다.
• GenAI로 가능해진 멀티모달 피드백 전달은 신중하게 설계될 때 멀티미디어 학습 원칙을 따를 수 있다.
• 평가를 정확성 및 범위 이상으로 확장하여 적합성, 간결성, 학습 성과 등의 지표를 포함해야 한다.
• 편향 및 환각과 같은 윤리적 문제가 평가 및 배치에서 해결되어야 한다.