[논문 리뷰] Tailoring Education with GenAI: A New Horizon in Lesson Planning

Kostas Karpouzis, Dimitris Pantazatos외 2명|arXiv (Cornell University)|2024. 02. 12.

Open Education and E-Learning인용 수 7

한 줄 요약

논문은 상호작용형 mega 프롬프트를 활용하여 다양한 학습자를 위한 수업 계획을 맞춤화하는 GenAI 기반 학습 시나리오 어시스턴트를 제시하고, 언어 및 교육 수준에 걸친 혼합 방법 평가를 수행한다.

ABSTRACT

The advent of Generative AI (GenAI) in education presents a transformative approach to traditional teaching methodologies, which often overlook the diverse needs of individual students. This study introduces a GenAI tool, based on advanced natural language processing, designed as a digital assistant for educators, enabling the creation of customized lesson plans. The tool utilizes an innovative feature termed 'interactive mega-prompt,' a comprehensive query system that allows educators to input detailed classroom specifics such as student demographics, learning objectives, and preferred teaching styles. This input is then processed by the GenAI to generate tailored lesson plans. To evaluate the tool's effectiveness, a comprehensive methodology incorporating both quantitative (i.e., % of time savings) and qualitative (i.e., user satisfaction) criteria was implemented, spanning various subjects and educational levels, with continuous feedback collected from educators through a structured evaluation form. Preliminary results show that educators find the GenAI-generated lesson plans effective, significantly reducing lesson planning time and enhancing the learning experience by accommodating diverse student needs. This AI-driven approach signifies a paradigm shift in education, suggesting its potential applicability in broader educational contexts, including special education needs (SEN), where individualized attention and specific learning aids are paramount

연구 동기 및 목표

• GenAI 기반 수업 계획을 통한 개인화된 교육 동기 부여.
• 학습 시나리오를 맞춤화하기 위한 인터랙티브 프롬프트 방법론 개발.
• 정량적 및 정성적 지표를 통해 GenAI 생성 수업 계획의 효과를 평가합니다.

제안 방법

• GenAI가 수업 계획 생성을 안내하도록 인터랙티브한 양방향 프롬프트 워크플로를 도입한다.
• 포지션 프롬프트, 인터랙티브 프롬프트 및 팔로업 프롬프트를 정의하여 상세한 사용자 요구를 수집한다.
• 최종 사용자 피드백을 바탕으로 수업 계획을 반복적으로 개발하고 평가한다.
• 생성된 콘텐츠를 평가하기 위해 언어학적 및 주제 분석(spaCy, LDA)을 적용한다.
• 다수의 LLM(ChatGPT 3.5, ChatGPT 4, Llama 계열, Google Bard)과 언어(영어, 그리스어)에 대해 테스트한다.

실험 결과

연구 질문

• RQ1 다양한 학습자 요구를 충족하는 맞춤형 수업 계획을 GenAI가 얼마나 효과적으로 생성하는가?
• RQ2 인터랙티브 프롬프트 프레임워크가 교과목과 수준에 걸쳐 고품질의 표준에 맞춘 교육 콘텐츠를 생성할 수 있는가?
• RQ3 교육 콘텐츠 생성에서 언어와 모델 간 GenAI 성능 차이는 무엇인가?

주요 결과

GenAI 모델	ChatGPT 3.5 (09/2023)	ChatGPT 4 (09/2023)	Llama 2 7B (07/2023)	Llama 2 13B (07/2023)	Llama 2 70B (07/2023)	Google Bard (2023.09.27)
Relevance	4.66	5	4	4.66	5	4
Accuracy	3.66	4.66	4	4	3	4
Creativity	3.33	4.66	4.33	5	5	3.33
Engagement	3.33	5	4	4.33	5	3
Personalization	3.66	5	3.66	4.33	5	3
Coherence	5	5	4.66	5	5	3
Response Time	4.66	3.66	4.66	5	3.33	5

• GenAI 생성 수업 계획은 계획 시간을 크게 단축하고 다양한 요구를 수용한다.
• 인터랙티브 프롬프트 방법론은 수업 계획을 위한 대화형의 사용자 중심 디자인 프로세스를 가능하게 한다.
• 모델 간 교차 평가에서 모델과 언어에 따라 성능 차이가 나타나며, 최신 모델(ChatGPT 4, Llama 70B)은 영어와 그리스어에서 관련성 및 개인화 측면에서 일반적으로 더 높은 점수를 얻는다.
• 언어학 분석(spaCy, LDA)은 응답 간 콘텐츠 품질과 주제 범위에 대한 통찰을 제공한다.
• 일부 모델에서 자원 정확도(예: 존재하지 않는 링크)에 변동이 있어 인간 검증의 필요성을 강조한다.