[论文解读] AI-Driven Interface Design for Intelligent Tutoring System Improves Student Engagement

Byungsoo Kim, Hongseok Suh+2 more|arXiv (Cornell University)|Sep 18, 2020

Intelligent Tutoring Systems and Adaptive Learning参考文献 46被引用 10

一句话总结

本文提出了一种由人工智能驱动的智能辅导系统（ITS）界面设计，通过提供对学生问题解决过程的诊断性反馈，以提升学习参与度。在超过20,000名移动ITS Santa用户中开展的受控A/B测试表明，基于人工智能的界面功能可将参与度指标（如转化率和免费题目消耗量）提升高达25.13%。

ABSTRACT

An Intelligent Tutoring System (ITS) has been shown to improve students' learning outcomes by providing a personalized curriculum that addresses individual needs of every student. However, despite the effectiveness and efficiency that ITS brings to students' learning process, most of the studies in ITS research have conducted less effort to design the interface of ITS that promotes students' interest in learning, motivation and engagement by making better use of AI features. In this paper, we explore AI-driven design for the interface of ITS describing diagnostic feedback for students' problem-solving process and investigate its impacts on their engagement. We propose several interface designs powered by different AI components and empirically evaluate their impacts on student engagement through Santa, an active mobile ITS. Controlled A/B tests conducted on more than 20K students in the wild show that AI-driven interface design improves the factors of engagement by up to 25.13%.

研究动机与目标

• 解决ITS研究中界面设计长期被忽视的问题，尽管在人工智能驱动的知识追踪和学习路径优化方面已取得进展。
• 探究用户界面中人工智能驱动的诊断反馈如何提升学生在智能辅导系统中的动机、兴趣和参与度。
• 评估不同层次的人工智能可解释性与界面设计对大规模移动ITS部署中真实学生参与度的影响。
• 将可解释人工智能原则整合到ITS界面中，使人工智能决策对学习者透明且可操作。
• 通过实证验证，基于人工智能分析改进的界面设计可显著提升转化率和ARPU等关键参与度指标。

提出的方法

• 为Santa移动ITS设计了多种界面变体，每种均整合了不同的人工智能组件，以在不同细节和可解释性水平上提供诊断反馈。
• 利用知识追踪（KT）和认知诊断模型（如DIRT、NeuralCDM）推断学生知识状态，并生成个性化反馈。
• 采用可解释人工智能技术，可视化学习建议背后的逻辑，包括概念掌握水平、预期分数提升和置信度分数。
• 实施类似Tinder的滑动界面（受Rocket启发），用于展示人工智能提取的特征，如正确性概率和预期学习收益。
• 在真实生产环境中对超过20,000名真实用户进行受控A/B测试，以比较不同界面设计的参与度表现。
• 通过多个KPI衡量参与度：转化率、每用户平均收入（ARPU）、总利润以及平均免费题目消耗量。

实验结果

研究问题

• RQ1 在真实世界的移动学习环境中，将人工智能驱动的诊断反馈整合到ITS用户界面中，如何影响学生参与度？
• RQ2 何种可解释性和界面设计细节水平能最大化智能辅导系统中的学生参与度与动机？
• RQ3 在大规模ITS部署中，人工智能驱动的界面功能能在多大程度上提升转化率和ARPU等关键绩效指标？
• RQ4 通过视觉和文本反馈使人工智能决策过程透明化，如何影响用户对系统的信任与互动？
• RQ5 结合人工智能分析与直观交互范式（如滑动操作）的界面设计，能否带来学习持续性和参与度的可测量提升？

主要发现

• 人工智能驱动的界面设计显著提升了学生参与度，关键指标（如转化率和免费题目消耗量）的性能提升最高达25.13%。
• 最有效的界面设计结合了详细的诊断反馈与可视化可解释性，如掌握度进度条和推荐度量表，从而增强用户理解与信任。
• 引入人工智能提取的特征（如正确性概率和预期分数提升）使用户能够做出更明智的决策，从而提升互动频率与留存率。
• 对超过20,000名学生的受控A/B测试证实，基于先进人工智能模型的界面设计在ARPU和总利润方面实现了统计显著的提升。
• 使用更高可解释性与更丰富反馈的界面的学生，更有可能持续使用系统并积极参与推荐学习内容。
• 结果表明，界面设计并非次要问题，而是提升人工智能驱动ITS有效性的关键杠杆，尤其当其与可解释人工智能原则相一致时。