[논문 리뷰] Integrating AI and Learning Analytics for Data-Driven Pedagogical Decisions and Personalized Interventions in Education

Ramteja Sajja, Yusuf Sermet외 2명|arXiv (Cornell University)|2023. 12. 15.

Online Learning and Analytics인용 수 15

한 줄 요약

본 논문은 GPT-4를 활용해 학생 참여를 정량화하고 학습 진행을 매핑하며 Bloom의 분류학과 교원 피드백을 포함한 교수 전략을 평가하는 학습 분석 도구를 설계하고 평가한다.

ABSTRACT

This research study explores the conceptualization, development, and deployment of an innovative learning analytics tool, leveraging OpenAI's GPT-4 model to quantify student engagement, map learning progression, and evaluate diverse instructional strategies within an educational context. By analyzing critical data points such as students' stress levels, curiosity, confusion, agitation, topic preferences, and study methods, the tool provides a comprehensive view of the learning environment. It also employs Bloom's taxonomy to assess cognitive development based on student inquiries. In addition to technical evaluation through synthetic data, feedback from a survey of teaching faculty at the University of Iowa was collected to gauge perceived benefits and challenges. Faculty recognized the tool's potential to enhance instructional decision-making through real-time insights but expressed concerns about data security and the accuracy of AI-generated insights. The study outlines the design, implementation, and evaluation of the tool, highlighting its contributions to educational outcomes, practical integration within learning management systems, and future refinements needed to address privacy and accuracy concerns. This research underscores AI's role in shaping personalized, data-driven education.

연구 동기 및 목표

• AI를 활용해 교수적 의사결정을 알리기 위한 학습 분석 도구를 개념화하고 개발하며 배포한다.
• 스트레스, 호기심, 혼란, 주제 선호도와 같은 데이터 포인트를 사용해 학생 참여도와 인지 발달을 정량화한다.
• 교육 맥락에서 학습 진행 상황을 매핑하고 교수 전략을 평가한다.
• 학생 질문을 바탕으로 Bloom의 분류학을 적용해 인지 발달을 평가한다.
• 교수 피드백을 수집해 인식된 이점과 도전과제를 파악하고 향후 개선점을 이끈다

제안 방법

• 다양한 학생 데이터를 분석하기 위해 OpenAI의 GPT-4를 통합한 학습 분석 도구를 설계하고 구현한다.
• 스트레스, 호기심, 혼란, 동요, 주제 선호도, 학습 방법 등 참여 지표와 인지 지표를 정량화한다.
• 교육 맥락에서 학습 진행 상황을 매핑하고 교수 전략을 평가한다.
• 학생 질문으로부터 인지 발달을 평가하기 위해 Bloom의 분류학을 사용한다.
• 합성 데이터를 사용해 접근법을 평가하고 아이오와 대학교의 교수 설문조사를 통해 피드백을 수집한다.
• 학습 관리 시스템과의 통합을 논의하고 개인정보 및 정확성 고려사항을 확인한다

실험 결과

연구 질문

• RQ1 AI와 학습 분석이 교육 현장에서 학생 참여를 정량화하고 학습 진행을 매핑하는 방법은?
• RQ2 다양한 교수 전략을 AI 기반 지표와 Bloom의 분류학을 사용해 어떻게 평가할 수 있는가?
• RQ3 교수진 사이에서 이러한 도구를 배치할 때 인식되는 이점과 도전과제는 무엇인가?
• RQ4 교육에서 AI가 생성한 통찰과 관련된 개인정보 및 정확성 문제는 무엇이며 어떻게 해결할 수 있는가?

주요 결과

• 이 도구는 실시간 통찰로 교수 의사결정을 강화할 잠재력을 가진다.
• 교수 피드백은 교수 의사결정과 통합에 대한 인식된 이점을 강조했지만 데이터 보안 및 AI 통찰의 정확성에 대한 우려가 제기되었다.
• 본 연구는 학습 관리 시스템 내의 실질적 통합과 교육 성과에 대한 시사점을 논의한다.
• 개인정보 보호와 정확성 문제는 데이터 보안 및 AI 생성 통찰의 신뢰성을 다루기 위한 향후 개선이 필요하다.