[논문 리뷰] Integrating A.I. in Higher Education: Protocol for a Pilot Study with 'SAMCares: An Adaptive Learning Hub'

Syed Hasib Akhter Faruqui, Nazia Tasnim외 3명|arXiv (Cornell University)|2024. 05. 01.

Innovative Teaching and Learning Methods인용 수 6

한 줄 요약

이 논문 프로토콜은 SHSU 학생들을 맥락 인식 AI 튜터링으로 지원하기 위해 Retriever-Augmented Generation (RAG)을 사용하는 LLM 기반 적응 학습 허브 SAMCares를 평가하기 위한 1년 간 무작위 대조 연구를 설명한다. 연구 설계, 데이터 수집, 오픈 소스 공개 계획을 개요한다.

ABSTRACT

Learning never ends, and there is no age limit to grow yourself. However, the educational landscape may face challenges in effectively catering to students' inclusion and diverse learning needs. These students should have access to state-of-the-art methods for lecture delivery, online resources, and technology needs. However, with all the diverse learning sources, it becomes harder for students to comprehend a large amount of knowledge in a short period of time. Traditional assistive technologies and learning aids often lack the dynamic adaptability required for individualized education plans. Large Language Models (LLM) have been used in language translation, text summarization, and content generation applications. With rapid growth in AI over the past years, AI-powered chatbots and virtual assistants have been developed. This research aims to bridge this gap by introducing an innovative study buddy we will be calling the 'SAMCares'. The system leverages a Large Language Model (LLM) (in our case, LLaMa-2 70B as the base model) and Retriever-Augmented Generation (RAG) to offer real-time, context-aware, and adaptive educational support. The context of the model will be limited to the knowledge base of Sam Houston State University (SHSU) course notes. The LLM component enables a chat-like environment to interact with it to meet the unique learning requirements of each student. For this, we will build a custom web-based GUI. At the same time, RAG enhances real-time information retrieval and text generation, in turn providing more accurate and context-specific assistance. An option to upload additional study materials in the web GUI is added in case additional knowledge support is required. The system's efficacy will be evaluated through controlled trials and iterative feedback mechanisms.

연구 동기 및 목표

• GenAI 도구가 고등교육에서 학습 경험과 학업 성취를 향상시킬 수 있는지 조사한다.
• SAMCares를 기존 자료와 비교했을 때 지식 증가, 학생 만족도, 인지 부담을 평가한다.
• SHSU 코스 노트를 기반으로 한 적응적이고 맥락 인식적인 AI 튜터링 시스템을 개발하고 평가한다.

제안 방법

• LLaMa-2 70B를 기본 모델로 사용하고 고정 SHSU 강좌 노트 지식 베이스를 마련한다.
• 맥락 인식 응답을 제공하기 위해 Retriever-Augmented Generation (RAG) 시스템을 구현한다.
• 추가 학습 자료 업로드 및 SHSU 자격 인증 접근을 제공하는 웹 기반 GUI를 제공한다.
• SHSU 공학 기술 분야의 150명의 신입생으로 1년 간의 층화 무작위 대조 시험을 실시한다.
• 정량적 데이터(시험 점수, 주제 평가) 및 정성적 데이터(사전/사후 설문, 인터뷰, 시선 추적)를 수집한다.
• 표본 크기를 정당화하기 위한 검정력 분석(80% power, alpha 0.05)을 수행하고 학습의 이득 및 만족도를 주된/ 보조 결과로 분석한다.

Figure 1 : Schematic Representation of Randomization and Data Collection Process for SAMCares Tool Evaluation

실험 결과

연구 질문

• RQ1 SAMCares에 대한 접근이 전통적 자료에 비해 시험 점수와 주제 평가를 향상시키는가?
• RQ2 학습 중 SAMCares가 학생 만족도와 인지 부하 인식에 미치는 영향은 무엇인가?
• RQ3 시선 추적 지표(참여도 및 피로도)가 SAMCares 사용자와 비사용자 사이에서 어떻게 다른가?
• RQ4 사용성, 인지된 유용성, AI 지원 학습의 형평성에 관한 정성적 주제는 어떤 것이 나타나는가?

주요 결과

• 본 프로토콜 논문에는 실증 결과가 보고되지 않았다; 연구의 목적은 SAMCares가 학습 성과와 만족도를 향상시키는지 여부를 결정하는 것이다.
• 주요 가설은 SAMCares 통합이 기존 방법보다 더 큰 지식 증가, 더 높은 학생 만족도, 더 낮은 인지 부하를 가져올 것이라는 것이다.
• 프로토콜은 엄격한 데이터 수집(시험, 설문, 시선 추적, 인터뷰) 및 비식별 데이터 공유 및 SAMCares의 오픈 소스 공개 계획을 강조한다.
• 연구는 단일 사이트 범위, 남용 가능성, 인프라 필요성, 장애 학생에 대한 접근성 고려 등의 한계점을 인정한다.

Figure 2 : Retriever-Augmented Generation (RAG) system for SAMCares : Process flowchart for generating context-aware responses using vector embeddings and LLAMA 2 70B model.