[论文解读] Continuous Mental Effort Evaluation during 3D Object Manipulation Tasks based on Brain and Physiological Signals

Dennis Wobrock, Jérémy Frey+4 more|arXiv (Cornell University)|May 29, 2015

Gaze Tracking and Assistive Technology参考文献 29被引用 4

一句话总结

本文提出了一种基于脑电图（EEG）、心电图（ECG）和皮肤电反应（GSR）信号的连续、客观的心理努力评估方法，用于三维物体操作任务。结果表明，这些生理信号能够可靠地实时估算心理负荷，从而在不中断用户的情况下实现对三维用户界面可用性的细粒度评估。

ABSTRACT

Designing 3D User Interfaces (UI) requires adequate evaluation tools to ensure good usability and user experience. While many evaluation tools are already available and widely used, existing approaches generally cannot provide continuous and objective measures of usa-bility qualities during interaction without interrupting the user. In this paper, we propose to use brain (with ElectroEncephaloGraphy) and physiological (ElectroCardioGraphy, Galvanic Skin Response) signals to continuously assess the mental effort made by the user to perform 3D object manipulation tasks. We first show how this mental effort (a.k.a., mental workload) can be estimated from such signals, and then measure it on 8 participants during an actual 3D object manipulation task with an input device known as the CubTile. Our results suggest that monitoring workload enables us to continuously assess the 3DUI and/or interaction technique ease-of-use. Overall, this suggests that this new measure could become a useful addition to the repertoire of available evaluation tools, enabling a finer grain assessment of the ergonomic qualities of a given 3D user interface.

研究动机与目标

• 开发一种用于评估三维物体操作任务中文心负荷的连续、非侵入性方法。
• 评估脑部和生理信号作为实时交互中文心努力客观指标的可行性。
• 提供一种补充性评估工具，以替代需要任务中断的传统可用性方法。
• 利用生理心理负荷指标评估三维用户界面及其交互技术的工程人体工效质量。
• 通过参与者使用CubTile设备执行三维操作任务的实证数据验证该方法。

提出的方法

• 采用脑电图（EEG）记录三维物体操作任务期间的脑部活动。
• 采集心电图（ECG）和皮肤电反应（GSR）信号，以评估与心理负荷相关的自主神经系统活动。
• 采用基于回归的方法，将生理信号映射为连续的心理努力估计值。
• 通过8名参与者使用CubTile作为三维输入设备执行物体操作任务，开展实验。
• 应用信号预处理和特征提取技术，提升生理数据的负荷估计鲁棒性。
• 通过生理信号与主观心理负荷评分之间的相关性分析，验证心理努力估计模型。

实验结果

研究问题

• RQ1 能否利用EEG、ECG和GSR信号连续估算三维物体操作过程中的心理努力？
• RQ2 在三维交互任务中，生理信号与主观心理负荷评分的相关性如何？
• RQ3 基于生理信号的心理负荷估算在多大程度上可作为传统可用性评估方法的可靠替代方案？
• RQ4 该方法能否检测到三维操作任务不同阶段或难度级别下的负荷变化？
• RQ5 所提出的方法是否足够灵敏，能够实时检测出不同交互技术可用性之间的差异？

主要发现

• 所提出的方法成功地在三维物体操作过程中，利用EEG、ECG和GSR信号实现了心理努力的实时估算。
• 估计的心理负荷与主观心理负荷评分之间存在显著相关性，验证了该方法的有效性。
• 生理信号实现了无需用户中断或任务后问卷调查的连续负荷监测。
• 系统能够检测到任务不同阶段之间的负荷变化，表明对任务难度变化具有敏感性。
• 结果表明，该方法可作为传统可用性评估在三维用户界面研究中的细粒度、客观补充手段。
• 多模态生理信号的使用相比单一信号方法，显著提升了负荷估计的鲁棒性与准确性。