[논문 리뷰] Harnessing Large Language Models to Enhance Self-Regulated Learning via Formative Feedback

Steffen Steinert, Karina E. Avila외 3명|arXiv (Cornell University)|2023. 11. 23.

Innovative Teaching and Learning Methods인용 수 11

한 줄 요약

본 논문은 SRL 원칙과 인지적 활성화 활동을 중심으로 설계된 프롬프트를 통해 자기조절 학습(SRL)을 지원하는 이론 주도 형성적 피드백을 제공하는 대규모 언어 모델을 활용한 개방형 플랫폼 LEAP를 제시한다.

ABSTRACT

Effectively supporting students in mastering all facets of self-regulated learning is a central aim of teachers and educational researchers. Prior research could demonstrate that formative feedback is an effective way to support students during self-regulated learning (SRL). However, for formative feedback to be effective, it needs to be tailored to the learners, requiring information about their learning progress. In this work, we introduce LEAP, a novel platform that utilizes advanced large language models (LLMs), such as ChatGPT, to provide formative feedback to students. LEAP empowers teachers with the ability to effectively pre-prompt and assign tasks to the LLM, thereby stimulating students' cognitive and metacognitive processes and promoting self-regulated learning. We demonstrate that a systematic prompt design based on theoretical principles can provide a wide range of types of scaffolds to students, including sense-making, elaboration, self-explanation, partial task-solution scaffolds, as well as metacognitive and motivational scaffolds. In this way, we emphasize the critical importance of synchronizing educational technological advances with empirical research and theoretical frameworks.

연구 동기 및 목표

• 맞춤형 형성적 피드백을 통해 효과적인 자기조절 학습(SRL)을 촉진하고 가능하게 한다.
• 체계적인 프롬프트 설계가 인지적, 메타인지적, 동기적 참여구조를 자극하는 방법을 보여준다.
• 출력 품질을 관리하면서 프로그래밍 필요성을 줄이는 교사 친화적 도구를 제공한다.

제안 방법

• LLMs용 프롬프트와 과제를 만들기 위한 웹 기반 플랫폼 LEAP를 소개한다.
• SRL 및 형성적 피드백 이론에 기초한 3부분 프롬프트 설계(Condition, Consequence, Refinement)를 설명한다.
• Flask 백엔드, MariaDB 데이터베이스, OpenAI ChatGPT API 사용 등 구현 세부 사항을 설명한다.
• 인지적으로 활성화되는 피드백(의미 만들기, 정교화, 자기설명) 및 메타인지/동기적 구조를 생성하는 프롬프트를 시연한다.
• 교사가 학생 피드백의 복잡도 수준을 선택하는 방법(저, 중, 고)을 보여준다.
• 제어된 과제 생성, 학생에게 익명으로 배포, 연구를 위한 데이터 로깅을 가능케 하는 아키텍처를 논의한다.

Figure 1: Systematic prompt generation in three parts based on theoretical principles.

실험 결과

연구 질문

• RQ1 LLM을 어떻게 프롬프트하여 SRL에서 인지, 메타인지, 동기를 지원하는 형성적 피드백을 제공하게 할 수 있는가?
• RQ2 교사 친화적 플랫폼이 미리 정의된 프롬프트를 통해 다양한 구조(의미 만들기, 정교화, 자기설명, 부분 과제 해결, 메타인지 및 동기 프롬프트)를 신뢰성 있게 생성할 수 있는가?
• RQ3 구조화된 프롱팅이 SRL 과제에서 환각 및 편향을 줄이고 학습 성과를 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 체계적이고 이론 기반의 3부분 프롬프트 설계가 학생들에게 프롬프트 세부 정보를 노출하지 않으면서도 다양한 인지적 구조를 LLM으로 제공하게 한다.
• 더 복잡한 프롬프트는 특히 고급 ChatGPT 버전에서 더 풍부한 피드백을 이끌어낸다.
• LEAP는 교사가 사전 프롬프트를 설정하고 과제를 부여하도록 하여 SRL을 촉진하는 한편 학생의 프롬프트 작성 필요성을 줄인다.
• 이 플랫폼은 SRL 차원(인지, 메타인지, 동기 전반)에 걸친 실시간 맞춤형 형성적 피드백을 지원한다.
• LEAP의 아키텍처는 연구를 위한 과제의 제어된 프라이버시 보호 배포 및 상호작용 데이터 수집을 가능하게 한다.

Figure 2: The LEAP window displays an example of how to assign a task to students. This process includes several steps: selecting the GPT version, naming the task, formulating the question for students, setting instructions for ChatGPT, and providing the correct answer.