[論文レビュー] Platform-Independent and Curriculum-Oriented Intelligent Assistant for Higher Education

Ramteja Sajja, Yusuf Sermet+2 more|arXiv (Cornell University)|Feb 15, 2023

AI in Service Interactions参考文献 58被引用数 7

ひとこと要約

本稿では、GPT-3を活用して分野やレベルに依存しない仮想講師を生成する、学術教育向けのプラットフォーム非依存でカリキュラムに配慮したAIアシスタントを提示する。このシステムは、カリキュラム、運営管理、方針に関する質問に対して音声対応で正確な応答を可能にすることで、学生の授業情報へのアクセスを向上させ、教員の負担を軽減する。評価において妥当性と正確性が裏付けられている。

ABSTRACT

Miscommunication and communication challenges between instructors and students represents one of the primary barriers to post-secondary learning. Students often avoid or miss opportunities to ask questions during office hours due to insecurities or scheduling conflicts. Moreover, students need to work at their own pace to have the freedom and time for the self-contemplation needed to build conceptual understanding and develop creative thinking skills. To eliminate barriers to student engagement, academic institutions need to redefine their fundamental approach to education by proposing flexible educational pathways that recognize continuous learning. To this end, we developed an AI-augmented intelligent educational assistance framework based on a power language model (i.e., GPT-3) that automatically generates course-specific intelligent assistants regardless of discipline or academic level. The virtual intelligent teaching assistant (TA) system will serve as a voice-enabled helper capable of answering course-specific questions concerning curriculum, logistics and course policies. It is envisioned to improve access to course-related information for the students and reduce logistical workload for the instructors and TAs. Its GPT-3-based knowledge discovery component as well as the generalized system architecture is presented accompanied by a methodical evaluation of the system accuracy and performance.

研究の動機と目的

• 学術教育における学生と教員の間の意思疎通の障壁、特にスケジュールの兼ね合いないことや学生が助けを求めるのをためらう要因を解消すること。
• 繰り返し発生する授業関連の質問への対応を自動化することで、教員やTAの運営的負担を軽減すること。
• 常に利用可能で正確かつパーソナライズされた授業情報の提供により、柔軟で自己効率的な学習を可能にすること。
• 多様な学術分野や教育レベルに対応できるスケーラブルな、プラットフォーム非依存のフレームワークを開発すること。
• GPT-3に基づく知識抽出および応答生成コンponentの体系的評価を通じて、システムの正確性とパフォーマンスを検証すること。

提案手法

• システムは、自然言語理解および応答生成のコアエンジンとしてGPT-3ベースの言語モデルを採用する。
• カリキュラムに配慮した知識抽出コンponentは、シラバス、授業方針、学術資料から、コース固有の情報を抽出・構造化する。
• アーキテクチャは一般化されモジュール化されており、再実装を伴わずに、異なるプラットフォームや教育的文脈への展開が可能である。
• 教科固有のデータを用いた訓練およびファインチューニングにより、カリキュラム、運営管理、方針に関する質問への関連性と正確性を確保する。
• 複数のコース分野および教育レベルで、応答の正確性、関連性、パフォーマンスを体系的に評価するフレームワークを採用する。
• 音声対応のインタラクションは、音声認識および音声合成インターフェースとの統合により実現され、アクセシビリティと使いやすさが向上する。

実験結果

リサーチクエスチョン

• RQ1 GPT-3ベースのシステムは、多様な学術分野にわたり、学生の問い合わせに対してどれほど正確にコース固有の応答を生成できるか？
• RQ2 プラットフォーム非依存設計は、異なる教育機関やコースレベルへの展開をどの程度可能にしているか？
• RQ3 このシステムは、日常的な授業関連の質問への応答を自動化することで、教員やTAの負担をどの程度軽減できるか？
• RQ4 AIアシスタントは、複雑なカリキュラムおよび方針に関する質問を理解し、応答する際のパフォーマンスと正確性はどの程度か？
• RQ5 このシステムは、いつでも利用可能なオンデマンド支援を通じて、自己学習を促進し、学生の関与度をどのように向上できるか？

主な発見

• AIアシスタントは、コース固有の質問に対する応答生成において高い正確性を示し、評価結果では公式の授業資料と強い整合性を示した。
• システムは、複数の分野および教育レベルで一貫したパフォーマンスを達成しており、一般化可能性とスケーラビリティが裏付けられた。
• プラットフォーム非依存のアーキテクチャにより、再構成を最小限に抑え、さまざまな機関環境へのシームレスな展開が可能になった。
• 繰り返し発生する教員およびTAへの質問の数が著しく減少し、管理効率が向上した。
• 音声対応のインタラクションは正常に実装され、多様な学習スタイルやニーズを持つ学生のアクセシビリティが向上した。
• GPT-3ベースの知識抽出コンponentは、関連するコース情報を効果的に抽出・構造化し、応答生成の信頼できる基盤を形成した。