[논문 리뷰] Generative AI for Enhancing Active Learning in Education: A Comparative Study of GPT-3.5 and GPT-4 in Crafting Customized Test Questions

Hamdireza Rouzegar, Masoud Makrehchi|arXiv (Cornell University)|2024. 06. 20.

Intelligent Tutoring Systems and Adaptive Learning인용 수 4

한 줄 요약

이 연구는 GPT-3.5와 GPT-4가 활동 학습 프레임워크를 사용하여 9학년 학생들을 대상으로 맞춤형이고 적응형 수학 시험 문제를 생성하는 방식을 조사한다. GPT-4를 '선생님'으로, GPT-3.5를 '학생'으로 설정하여 반복 피드백 루프를 구축함으로써 모델들은 실시간 학습 적응을 시뮬레이션하며, GPT-4는 뛰어난 문제 품질을 보였고, GPT-3.5는 지시 후 복잡한 문제에서 성능 향상을 보이며, 대규모 언어 모델이 개인화된 교육을 향상시킬 잠재력을 보여준다.

ABSTRACT

This study investigates how LLMs, specifically GPT-3.5 and GPT-4, can develop tailored questions for Grade 9 math, aligning with active learning principles. By utilizing an iterative method, these models adjust questions based on difficulty and content, responding to feedback from a simulated 'student' model. A novel aspect of the research involved using GPT-4 as a 'teacher' to create complex questions, with GPT-3.5 as the 'student' responding to these challenges. This setup mirrors active learning, promoting deeper engagement. The findings demonstrate GPT-4's superior ability to generate precise, challenging questions and notable improvements in GPT-3.5's ability to handle more complex problems after receiving instruction from GPT-4. These results underscore the potential of LLMs to mimic and enhance active learning scenarios, offering a promising path for AI in customized education. This research contributes to understanding how AI can support personalized learning experiences, highlighting the need for further exploration in various educational contexts

연구 동기 및 목표

• 9학년 수학을 위한 개인화되고 교육과정에 부합하는 시험 문제를 생성하는 데 있어 GPT-3.5와 GPT-4의 효과성을 평가하는 것.
• GPT-4를 '선생님'으로, GPT-3.5를 '학생'으로 설정하여 반복 학습과 적응을 평가하는 활동 학습 환경을 시뮬레이션하는 것.
• LLM이 질문의 난이도 증가와 피드백에 어떻게 반응하는지 평가하여 인간과 유사한 학습 진행 과정을 모방하는 것.
• 동적이고 적응형 문제 생성을 통해 대규모 언어 모델이 개인화된 교육을 지원할 잠재력을 평가하는 것.
• LLM을 교육 기술 분야에 통합하여 확장 가능하고 학생 중심의 학습 경험을 제공하는 데에 통찰을 기여하는 것.

제안 방법

• GPT-3.5가 GPT-4가 제작한 질문에 응답하고, 응답 품질과 난이도에 따라 조정되는 반복적인 문제 생성 및 피드백 루프를 구현하였다.
• GPT-4는 9학년 수준의 '수의 체계'와 '금융 수학' 분야에서 점차 복잡해지는 질문을 생성하는 '선생님' 역할을 하였다.
• GPT-3.5는 이러한 질문에 응답하는 '학생' 역할을 하였으며, 정확성과 깊이를 평가하여 이후 질문 개선에 활용되었다.
• 모델의 성과에 기반해 질문 난이도와 내용을 조정함으로써 형성 평가를 시뮬레이션하는 방식으로 활동 학습을 모방하였다.
• 시뮬레이션된 '학생' 모델이 피드백을 제공함으로써, 시스템은 반복적으로 질문의 품질과 학습 목표에 대한 부합도를 향상시킬 수 있었다.
• 평가 초점은 다양한 난이도 수준에서 생성된 질문의 정확성, 복잡성, 적응 가능성에 맞춰졌다.

실험 결과

연구 질문

• RQ1 GPT-4는 9학년 수학을 위한 고품질이며 교육과정에 부합하고 점차 어려워지는 시험 문제를 생성할 수 있는가?
• RQ2 GPT-4의 질문과 피드백에 노출된 후 GPT-3.5의 복잡한 문제 해결 능력은 어떻게 향상되는가?
• RQ3 GPT-4(선생님)과 GPT-3.5(학생) 간의 상호작용이 AI 시스템에서 활동 학습의 역학을 어느 정도 시뮬레이션할 수 있는가?
• RQ4 LLM은 피드백과 인식된 난이도에 따라 어떻게 문제 생성 방식을 조정하는가? 이는 활동 학습 원칙을 반영하는가?
• RQ5 GPT-3.5와 GPT-4는 개인화된 교육 콘텐츠를 생성하는 데에서 각각 어떤 비교적 강점과 한계를 지니는가?

주요 결과

• GPT-4는 9학년 수학 주제 전반에 걸쳐 정확하고 도전적이며 교육과정에 부합하는 문제를 생성하는 데 뛰어난 능력을 보였다.
• GPT-4의 대상 지시와 피드백을 받은 후 GPT-3.5는 복잡한 문제를 다루는 데 뚜렷한 향상을 보였으며, 이는 적응 학습 잠재력이 있음을 시사한다.
• GPT-4와 GPT-3.5 간의 반복 피드백 루프는 효과적으로 활동 학습을 시뮬레이션하였으며, 응답 품질에 따라 질문 난이도와 내용이 조정되었다.
• 시스템의 성능은 불확실성 샘플링 원칙과 일치하였으며, GPT-3.5는 어려운 질문에서 가장 큰 향상을 보였고, 이는 인지적 도전에 대한 참여를 시사한다.
• GPT-4가 '선생님' 역할을 하며 문제의 품질과 깊이가 크게 향상되었고, 복잡성과 정확성 면에서 GPT-3.5를 능가하였다.
• 결과적으로 LLM은 인간의 교육 및 학습 역학을 모방하도록 구성될 수 있으며, 개인화된 교육을 위한 확장 가능한 모델을 제공할 수 있다.