[论文解读] A Virtual Teaching Assistant for Personalized Learning

Luca Benedetto, Paolo Cremonesi+1 more|arXiv (Cornell University)|Feb 25, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 5被引用 15

一句话总结

本文提出了一种基于 IBM Watson Assistant 和自定义服务器的个性化虚拟助教（PVTA），以增强在线及面授课程中的个性化学习。该系统通过服务器端的预处理和后处理来处理学生查询，实现针对课程的意图与实体识别，并支持未来的个性化、参与度追踪以及动态内容推荐。

ABSTRACT

In this extended abstract, we propose an intelligent system that can be used as a Personalized Virtual Teaching Assistant (PVTA) to improve the students learning experience both for online and on-site courses. We show the architecture of such system, which is composed of an instance of IBM Watson Assistant and a server, and present an initial implementation, consisting in a chatbot that can be questioned about the content and the organization of the RecSys course, an introductory course on recommender systems.

研究动机与目标

• 设计并实现一种可扩展的个性化虚拟助教，用于在线及面授课程，以减轻教师工作负担并提升学习成效。
• 通过详细说明系统架构与组件角色，解决现有虚拟助教在透明度与可扩展性方面的不足。
• 通过学生行为建模、动态意图/实体学习以及对高风险学生的主动干预，实现个性化功能。
• 通过实施服务器端自然语言生成与基于置信度的路由机制，克服黑箱 NLP 系统的局限性，将模糊或低置信度查询转介至人工助教。
• 探索基于学生互动与学习模式的自适应内容推荐。

提出的方法

• PVTA 架构将 IBM Watson Assistant 用于自然语言处理任务，并通过自定义服务器管理上下文、学生数据与处理流程。
• 服务器端的预处理可解决代词指代与上下文转换问题，弥补 Watson 缺乏长期记忆的不足。
• 后处理通过服务器存储的课程特定数据（如考试日期）丰富 Watson 返回的不完整响应。
• 基于意图与实体使用模式的聚类分析对学生行为进行建模，以识别学习群体与高风险学生。
• 通过置信度阈值将模糊或低置信度的查询路由至人工助教，由其验证并使用更正响应重新训练系统。
• 系统支持通过交互数据提取知识实现持续改进，动态扩展意图、实体与响应规则。

实验结果

研究问题

• RQ1 如何设计虚拟助教架构，以支持在线与面授教育环境中的个性化学习？
• RQ2 服务器在扩展如 IBM Watson Assistant 这类黑箱 NLP 引擎在教育应用中的能力方面发挥何种作用？
• RQ3 如何利用交互数据主动检测并应对学生参与度下降与辍学风险？
• RQ4 在服务器端在多大程度上可实现自然语言生成与个性化功能，以克服商业 NLP 平台的局限性？
• RQ5 通过学生交互实现持续学习，能否在长期内提升虚拟助教的准确度与相关性？

主要发现

• PVTA 架构成功将 Watson Assistant 与服务器端组件集成，实现在教育场景中具备上下文感知能力的个性化响应。
• 服务器端的预处理与后处理有效弥补了 Watson 缺乏长期记忆与响应生成能力的不足。
• 该系统实现了可运行的原型，能够处理与推荐系统课程相关的 50 个意图、20 个实体（超过 170 个概念）。
• 基于交互模式的聚类分析学生建模，可有效识别学习群体与高风险学生。
• 基于置信度的路由机制成功将低置信度查询转介至人工助教，提升了系统可靠性并支持模型优化。
• 系统支持通过知识提取实现持续改进，允许在部署后动态扩展意图、实体与响应规则。