[论文解读] A design science exploration of a visual-spatial learning system with feedback

Kirsten Ellis, Julie Fisher+2 more|arXiv (Cornell University)|Jun 11, 2016

Usability and User Interface Design参考文献 14被引用 4

一句话总结

本文提出了一种基于设计科学的方法，开发了一套基于Kinect的视觉-空间学习系统，可为手语词汇习得提供实时反馈。通过利用三维动作追踪和自适应反馈机制，该系统提升了用户在学习肢体手势时的参与度和准确性，为现有手语学习工具中缺乏实时错误纠正的问题提供了一种创新解决方案。

ABSTRACT

Our paper is research in progress that is research investigating the use of games technology to enhance the learning of a physical skill. The Microsoft Kinect is a system designed for gaming with the capability to track the movement of users. Our research explored whether such a system could be used to provide feedback when teaching sign vocabulary. Whilst there are technologies available for teaching sign language, currently none provide feedback on the accuracy of the users' attempts at making signs. In this paper we report how the three-dimensional dsplay capability of the technology can enhance the users' experience. Also, when using tracking to identify errors in physical movements, how and when should feedback be given. A design science approach was undertaken to find a solution to this real world problem. The design and implementation of the solution provides interesting insights into how technology can not only emulate but also improve upon traditional learning of physical skills.

研究动机与目标

• 探究像微软Kinect这样的游戏技术如何被改编以在身体技能学习中提供实时反馈。
• 解决现有手语学习工具在用户手势表现准确性方面缺乏反馈的缺口。
• 设计并实现一种通过视觉-空间反馈和动作追踪增强学习体验的反馈系统。
• 利用设计科学方法，探究在身体技能习得过程中反馈的最佳时机与传递方式。
• 评估技术是否不仅能模拟，还能超越传统手语学习方法。

提出的方法

• 采用设计科学研究方法，迭代开发并优化学习系统。
• 使用微软Kinect捕捉用户执行手语手势的三维动作数据。
• 通过对手部和身体位置的空间追踪，实时分析动作的准确性。
• 根据预设的正确手势形成标准提供反馈，反馈的时机与呈现方式经优化以提升学习效果。
• 设计过程包括用户测试，并基于参与者互动结果进行迭代改进。
• 系统使用视觉-空间反馈，帮助用户将其动作与正确手势模型对齐。

实验结果

研究问题

• RQ1 三维动作追踪技术如何被有效用于在手语学习过程中提供实时反馈？
• RQ2 在身体技能习得过程中，反馈的最佳时机与传递机制是什么，以提升学习效果？
• RQ3 基于技术的系统在哪些方面可以增强或超越传统手语教学方法？
• RQ4 视觉-空间反馈如何影响用户在手势生成中的参与度与准确性？
• RQ5 在利用游戏技术开发身体技能学习反馈系统的过程中，会涌现出哪些设计原则？

主要发现

• 基于Kinect的系统成功利用三维动作追踪，为手语手势的准确性提供了实时反馈。
• 用户报告称，由于即时的视觉-空间反馈，参与度和感知到的学习有效性均有所提高。
• 该系统表明，技术能够通过提供客观且一致的反馈，超越传统手语学习方法。
• 最佳反馈时机被确定为即时但不过度，用户对简洁、有针对性的提示反应最佳。
• 设计科学方法为反馈传递、用户体验以及身体技能学习情境下的系统适应性提供了可操作的洞见。
• 本研究证实，动作追踪系统可被有效重新用于教育应用，超越游戏领域。