[论文解读] Investigation of Multiple Resource Theory Design Principles on Robot Teleoperation and Workload Management

Han Zhao, Adam Norton+6 more|arXiv (Cornell University)|Mar 30, 2021

Human-Automation Interaction and Safety参考文献 28被引用 7

一句话总结

本研究调查了在机器人遥操作中应用多重资源理论（MRT）通过在视觉和听觉通道间分配任务信息，是否能降低认知负荷并提升表现。尽管在不同条件下认知负荷或表现未发现总体显著差异，但个体对模态组合的反应存在差异，表明在第一响应者场景的长期任务中，个性化自适应界面可能比通用的基于MRT的设计更有效。

ABSTRACT

Robot interfaces often only use the visual channel. Inspired by Wickens' Multiple Resource Theory, we investigated if the addition of audio elements would reduce cognitive workload and improve performance. Specifically, we designed a search and threat-defusal task (primary) with a memory test task (secondary). Eleven participants - predominantly first responders - were recruited to control a robot to clear all threats in a combination of four conditions of primary and secondary tasks in visual and auditory channels. We did not find any statistically significant differences in performance or workload across subjects, making it questionable that Multiple Resource Theory could shorten longer-term task completion time and reduce workload. Our results suggest that considering individual differences for splitting interface modalities across multiple channels requires further investigation.

研究动机与目标

• 测试通过在视觉和听觉通道间分配任务信息，是否能降低机器人遥操作中的认知负荷。
• 评估跨模态界面（视听）是否相比同模态界面（视觉-视觉或听觉-听觉）能提升表现。
• 探究个体在模态偏好与任务表现方面的差异在多模态界面中的作用。
• 确定多重资源理论是否可作为城市搜救等高风险环境中长期人机交互的可靠设计原则。

提出的方法

• 在11名第一响应者参与者中开展被试内实验，让他们在模拟威胁排除任务中控制机器人。
• 采用双任务范式：主任务为搜索与排除威胁（视觉和/或听觉），次级任务为工作记忆任务（视觉和/或听觉）。
• 在四种条件下改变界面模态：VV（视觉-视觉）、VA（视觉-听觉）、AV（听觉-视觉）、AA（听觉-听觉）。
• 使用配备Kinect和激光传感器的Pioneer机器人，通过ROS控制，在92m²的测试场地中设置四个隐藏威胁。
• 通过任务完成时间、次级任务准确率和使用NASA-TLX测量认知负荷。
• 由于认知负荷和指令响应时间数据违反正态性假设，采用非参数检验（Kruskal-Wallis H检验和Wilcoxon符号秩检验）。

实验结果

研究问题

• RQ1 与单通道界面相比，使用多个感官通道（听觉与视觉）是否能降低机器人遥操作中的认知负荷？
• RQ2 与同模态呈现相比，跨模态任务呈现（如主任务为视觉、次级任务为听觉）是否能提升任务表现？
• RQ3 个体在认知能力或模态偏好方面的差异在多模态界面中对表现和负荷的影响有多大？
• RQ4 多重资源理论能否作为现实世界中长期、复杂遥操作任务的可靠设计原则？

主要发现

• 在四种界面条件（VV、VA、AV、AA）之间，总体认知负荷或表现未发现统计学上显著差异，表明在此情境下MRT未能改善结果。
• 部分参与者在模态顺序和呈现方式上表现出显著的性能差异：p6、p3和p7在次级任务反应时间上在不同条件下存在显著差异。
• p6的正确指令输入时间从第1轮（5.46秒）增加到第2轮（10.28秒），表明可能存在疲劳或模态干扰。
• p5在VV条件下未能对次级任务作出反应，表明当两个任务均使用视觉模态时，视觉通道可能已过载。
• 部分参与者（如p3、p6、p10）在次级任务以听觉方式呈现时表现更佳，而p11则偏好视觉呈现，表明存在强烈的个体差异。
• 本研究结论认为，MRT可能并非长期遥操作的普遍有效设计原则，但个性化自适应界面可能更具有效性。