[論文レビュー] Integrating A.I. in Higher Education: Protocol for a Pilot Study with 'SAMCares: An Adaptive Learning Hub'

Syed Hasib Akhter Faruqui, Nazia Tasnim+3 more|arXiv (Cornell University)|May 1, 2024

Innovative Teaching and Learning Methods被引用数 6

ひとこと要約

この論文のプロトコルは、SAMCaresを評価する一年間のランダム化比較試験を記述します。SAMCaresはRetriever-Augmented Generation (RAG)を用いたLLMベースの適応学習ハブで、context-aware AI tutoringを通じてSHSUの学生を支援します。研究デザイン、データ収集、オープンソース公開計画を概説します。

ABSTRACT

Learning never ends, and there is no age limit to grow yourself. However, the educational landscape may face challenges in effectively catering to students' inclusion and diverse learning needs. These students should have access to state-of-the-art methods for lecture delivery, online resources, and technology needs. However, with all the diverse learning sources, it becomes harder for students to comprehend a large amount of knowledge in a short period of time. Traditional assistive technologies and learning aids often lack the dynamic adaptability required for individualized education plans. Large Language Models (LLM) have been used in language translation, text summarization, and content generation applications. With rapid growth in AI over the past years, AI-powered chatbots and virtual assistants have been developed. This research aims to bridge this gap by introducing an innovative study buddy we will be calling the 'SAMCares'. The system leverages a Large Language Model (LLM) (in our case, LLaMa-2 70B as the base model) and Retriever-Augmented Generation (RAG) to offer real-time, context-aware, and adaptive educational support. The context of the model will be limited to the knowledge base of Sam Houston State University (SHSU) course notes. The LLM component enables a chat-like environment to interact with it to meet the unique learning requirements of each student. For this, we will build a custom web-based GUI. At the same time, RAG enhances real-time information retrieval and text generation, in turn providing more accurate and context-specific assistance. An option to upload additional study materials in the web GUI is added in case additional knowledge support is required. The system's efficacy will be evaluated through controlled trials and iterative feedback mechanisms.

研究の動機と目的

• GenAIツールが高等教育における学習体験と学業成績を向上させるかを調査する。
• SAMCaresを従来の教材と比較した場合の知識獲得、学生満足度、認知負荷を評価する。
• SHSUの講義ノートに基づく適応的で文脈認識型のAI tutoringシステムを開発・評価する。

提案手法

• LLaMa-2 70Bを基盤モデルとして固定のSHSU講義ノート知識ベースを用いる。
• Retriever-Augmented Generation (RAG)システムを実装して文脈認識型の応答を提供する。
• 追加の学習材料をアップロードするオプションとSHSU認証済みアクセスを安全に提供するウェブGUIを提供する。
• SHSU Engineering Technologyの新入生150名を対象とした1年間の層化ランダム化対照試験を実施する。
• 定量データ（試験成績、トピック評価）と定性データ（前後調査、インタビュー、アイ・トラッキング）を収集する。
• サンプルサイズを正当化するパワー分析（80%の検出力、α=0.05）を実施し、学習成果と満足度を主要/副次アウトカムとして分析する。

Figure 1 : Schematic Representation of Randomization and Data Collection Process for SAMCares Tool Evaluation

実験結果

リサーチクエスチョン

• RQ1 SAMCaresへのアクセスは従来の教材と比較してテスト成績やトピック評価を改善しますか？
• RQ2 学習中の学生満足度と知覚認知負荷に対する SAMCares の影響はどのようか。
• RQ3 SAMCaresの利用者と非利用者の視線追跡指標（エンゲージメントと疲労）はどのように異なるか？
• RQ4 AI支援学習における使いやすさ、実用性、AI支援学習の公平性に関する質的テーマは何か？

主な発見

• このプロトコル論文には実証的な結果は報告されていない；本研究はSAMCaresが学習成果と満足度を向上させるかを判断することを目的とする。
• 中心仮説は、SAMCaresの統合により知識獲得の増大、学生満足度の向上、認知負荷の低下が従来の方法より達成されること。
• このプロトコルは厳格なデータ収集（試験、調査、アイ・トラッキング、インタビュー）を強調し、識別不能なデータ共有とSAMCaresのオープンソース公開計画を含む。
• 研究は単一サイトの範囲、悪用の可能性、インフラ要件、障害を持つ学生のアクセシビリティ配慮といった制約を認識している。

Figure 2 : Retriever-Augmented Generation (RAG) system for SAMCares : Process flowchart for generating context-aware responses using vector embeddings and LLAMA 2 70B model.