[論文レビュー] A Virtual Teaching Assistant for Personalized Learning

Luca Benedetto, Paolo Cremonesi+1 more|arXiv (Cornell University)|Feb 25, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 5被引用数 15

ひとこと要約

本論文では、IBM Watson Assistantとカスタムサーバーを基盤として、オンラインおよび対面授業におけるパーソナライズド・ラーニングを強化する、パーソナライズド・バーチャル・ティーチングアシスタント（PVTA）の構築を提案する。このシステムは、サーバー上で事前および事後の処理を施すことにより、学生の質問を処理し、コース固有の意図とエンティティ認識を可能にするとともに、将来のパーソナライズ、関与度の追跡、動的コンテンツ推薦を支援する。

ABSTRACT

In this extended abstract, we propose an intelligent system that can be used as a Personalized Virtual Teaching Assistant (PVTA) to improve the students learning experience both for online and on-site courses. We show the architecture of such system, which is composed of an instance of IBM Watson Assistant and a server, and present an initial implementation, consisting in a chatbot that can be questioned about the content and the organization of the RecSys course, an introductory course on recommender systems.

研究の動機と目的

• オンラインおよび対面授業向けに、拡張性がありパーソナライズされたバーチャル・ティーチングアシスタントを設計・実装し、教員の負担を軽減するとともに学習成果を向上させること。
• 既存のバーチャル・ティーチングアシスタントにおける透明性の欠如と拡張性の不足に応えるために、システムアーキテクチャと各コンponentの役割を明示すること。
• 学生行動モデリング、動的意図／エンティティ学習、およびリスクにさらされている学生に対する能動的介入を通じてパーソナライズを実現すること。
• ブラックボックス型NLPシステムの限界を補うために、サーバー側での自然言語生成と信頼度ベースルーティングを実装し、人間のTAに転送すること。
• 学生のインタラクションと学習パターンに基づく適応的コンテンツ推薦の可能性を検討すること。

提案手法

• PVTAアーキテクチャは、NLPタスクにIBM Watson Assistantを統合し、コンテキスト、学生データ、処理を管理するカスタムサーバーを併用する。
• サーバー上での事前処理により、代名詞の参照やコンテキストの変化が解消され、Watsonの長期記憶の欠如を補う。
• 事後処理により、サーバーに保存されたコース固有のデータ（例：試験日）を用いて、Watsonからの不完全な応答が補完される。
• 意図とエンティティ使用パターンに基づくクラスタリングを用いて学生行動をモデリングし、学習グループやリスクにさらされている学生を特定する。
• 信頼度しきい値により、曖昧または低信頼度の質問が人間のTAにルーティングされ、確認と再トレーニングが行われる。
• 相互作用からの知識抽出を通じて継続的改善が可能であり、デプロイ後も意図、エンティティ、応答ルールの動的拡張が可能となる。

実験結果

リサーチクエスチョン

• RQ1 バーチャル・ティーチングアシスタントは、オンラインおよび対面教育環境の両方で、どのようにパーソナライズド・ラーニングを支援できるか？
• RQ2 ブラックボックス型NLPエンジン（例：IBM Watson Assistant）の教育的応用において、サーバーはどのような役割を果たすことができるか？
• RQ3 相互作用データを用いて、学生の関与度と退学リスクをどのように能動的に検出・是正できるか？
• RQ4 商業的NLPプラットフォームの限界を補うために、サーバー上で自然言語生成とパーソナライズをどの程度実装できるか？
• RQ5 学生のインタラクションからの継続的学習は、時間経過とともにバーチャル・ティーチングアシスタントの正確性と関連性を向上させることができるか？

主な発見

• PVTAアーキテクチャは、Watson Assistantとサーバー側コンponentを効果的に統合し、教育現場におけるコンテキストに配慮したパーソナライズド・レスポンスを実現した。
• サーバー上での事前および事後処理により、Watsonの長期記憶の欠如と応答生成の限界が効果的に補われた。
• 本システムは、レコメンデーションシステムのコースに関連する50の意図、20のエンティティ（170以上の概念）を処理可能な機能的プロトタイプを達成した。
• インタラクションパターンに基づくクラスタリングによる学生モデリングにより、学習グループやリスクにさらされている学生の特定が可能になった。
• 信頼度ベースのルーティング機構により、低信頼度の質問が人間のTAに適切に転送され、信頼性の向上とモデルの最適化が実現された。
• 知識抽出を通じた継続的改善が可能であり、デプロイ後も意図、エンティティ、応答ルールの動的拡張が可能となった。