[论文解读] Direct and Indirect Communication in Multi-Human Multi-Robot Interaction

Jayam Patel, Tyagaraja Ramaswamy+2 more|arXiv (Cornell University)|Feb 1, 2021

Human-Automation Interaction and Safety参考文献 51被引用 5

一句话总结

本研究探讨了多人多机器人协作中直接与间接通信的机制，提出了一种多粒度图形用户界面，以支持操作员之间的间接通信。在包含18名参与者和9台机器人的用户研究中，结合口头交流与界面辅助提示的混合通信模式表现最优，显著提升了操作员的态势感知、信任度与可用性，同时平衡了工作负荷与性能表现。

ABSTRACT

How can multiple humans interact with multiple robots? The goal of our research is to create an effective interface that allows multiple operators to collaboratively control teams of robots in complex tasks. In this paper, we focus on a key aspect that affects our exploration of the design space of human-robot interfaces -- inter-human communication. More specifically, we study the impact of direct and indirect communication on several metrics, such as awareness, workload, trust, and interface usability. In our experiments, the participants can engage directly through verbal communication, or indirectly by representing their actions and intentions through our interface. We report the results of a user study based on a collective transport task involving 18 human subjects and 9 robots. Our study suggests that combining both direct and indirect communication is the best approach for effective multi-human / multi-robot interaction.

研究动机与目标

• 探究人际通信模式——直接通信（口头/手势）与间接通信（通过界面）——对多人多机器人系统协作的影响。
• 设计并评估一种新型图形用户界面，支持多粒度控制及操作员之间的间接通信。
• 评估通信模式对关键指标的影响：态势感知、工作负荷、信任度以及界面可用性，任务为集体运输。
• 确定混合通信（直接+间接）是否优于单一通信模式，在协作机器人监管中的表现。
• 探究在复杂人机交互场景中，操作员经验与通信偏好随时间的演变规律。

提出的方法

• 开发了一款多粒度图形用户界面，支持操作员面向机器人、面向团队及面向环境的控制。
• 通过界面中的视觉提示（如代理状态、目标位置、团队层级标注）实现间接通信。
• 开展一项受控用户研究，18名参与者（以两人小组形式）在集体物品运输任务中监督9台真实移动机器人。
• 评估四种通信条件：无通信（NC）、直接通信（DC）、间接通信（IC）和混合通信（MC）。
• 收集客观性能数据、主观评分（SART、信任度、工作负荷），并通过偏好排序的Borda计数分析评估功能可用性。
• 利用性能趋势与主观反馈分析学习效应，评估随时间推移的适应能力。

实验结果

研究问题

• RQ1 直接通信（口头/手势）与间接通信（界面中介）在操作员态势感知、信任度与工作负荷方面有何差异？
• RQ2 结合直接与间接通信（混合通信）对协作性能与界面可用性有何影响？
• RQ3 操作员偏好与表现如何在重复试验中演变？学习在通信模式有效性中扮演何种角色？
• RQ4 界面设计在多人多机器人控制任务中，多大程度上支持操作员之间有效的间接通信？
• RQ5 尽管信息质量较低，缺乏直接通信是否会导致更高的专注度与更好的信任度？

主要发现

• 混合通信（MC）实现了最高整体性能，信息质量、态势感知与信任度达到最佳平衡，且在基于数据与偏好排序的Borda计数中均排名第一（72/72）。
• 直接通信（DC）的信息质量与数量均高于间接通信（IC），带来更好的态势感知，但同时也导致情境不稳定与更高变异性。
• 尽管间接通信（IC）的信任度更高，但参与者在偏好排序中更偏好直接通信（49/72），支持‘熟悉度与即时性驱动偏好’的假设。
• 缺乏直接通信导致更高的唤醒水平与更好的信任度，表明仅使用间接通信可能降低认知负荷并提升专注度。
• 在试验过程中观察到明显的学习效应，性能随时间推移而提升，这可能解释了不同通信模式间客观性能差异不显著的原因。
• 操作员主要在任务开始阶段（用于策略制定）和任务结束阶段（用于协调）使用直接通信，表明其在高层规划与最终同步中的关键作用。