[论文解读] Demonstrating Performance Benefits of Human-Swarm Teaming

William Hunt, Jack Ryan+3 more|arXiv (Cornell University)|Mar 22, 2023

Simulation Techniques and ApplicationsDecision Sciences被引用 3

一句话总结

该论文介绍了HARIS，一个基于网络的仿真平台，支持在搜救场景中实现人机-蜂群协同，人类操作员通过实时视觉反馈提前对目标进行分类，从而增强自主无人机蜂群的能力。实验表明，即使未经训练的用户也能通过及时的人工干预显著提升性能（以速度-准确率综合衡量），相比完全自主的蜂群，能有效减少不必要的飞行任务。

ABSTRACT

Autonomous swarms of robots can bring robustness, scalability and adaptability to safety-critical tasks such as search and rescue but their application is still very limited. Using semi-autonomous swarms with human control can bring robot swarms to real-world applications. Human operators can define goals for the swarm, monitor their performance and interfere with, or overrule, the decisions and behaviour. We present the ``Human And Robot Interactive Swarm'' simulator (HARIS) that allows multi-user interaction with a robot swarm and facilitates qualitative and quantitative user studies through simulation of robot swarms completing tasks, from package delivery to search and rescue, with varying levels of human control. In this demonstration, we showcase the simulator by using it to study the performance gain offered by maintaining a ``human-in-the-loop'' over a fully autonomous system as an example. This is illustrated in the context of search and rescue, with an autonomous allocation of resources to those in need.

研究动机与目标

• 为应对在灾难响应等安全关键环境中管理大规模机器人蜂群的挑战，其中完全自主存在可靠性不足，而完全人工控制又不可行。
• 开发一个灵活、易访问的仿真环境，支持多人与机器人蜂群的交互，以促进人机-蜂群协同研究。
• 评估在动态、类真实场景（如搜救）中引入人工干预的性能优势。
• 通过基于JSON的配置和与Google地图的集成，实现使用真实地图快速部署自定义场景。
• 通过提供低代码、浏览器可访问的平台，支持用户研究，用于测试蜂群系统中的人机交互。

提出的方法

• HARIS是一个基于Java的Web应用程序，构建于HutSim数字孪生平台之上，支持在人机监督模式下实时仿真多架无人机蜂群。
• 系统采用max-sum去中心化协调算法实现自主任务分配，以最小化无人机的总能耗。
• 人类操作员通过动态界面与系统交互，界面实时显示无人机摄像头画面，随着无人机接近目标，图像分辨率逐步提高。
• 当图像清晰度允许时，操作员可手动将目标分类为“伤员”或“无伤员”，从而减少无效任务。
• 界面支持自定义滤镜和实时场景编辑，允许用户通过JSON配置文件定义新地图、新代理、新目标和新危险源。
• 性能通过每分钟分类数与准确率的综合指标进行评估，并与完全自主的蜂群进行对比。

Figure 1. The HARIS interface uses Google Maps to provide a realistic command centre for the swarm

实验结果

研究问题

• RQ1 未经训练的人类操作员是否能通过提供早期分类，提升自主无人机蜂群在搜救任务中的性能？
• RQ2 与完全自主运行相比，人工介入在多大程度上减少了不必要的无人机飞行任务？
• RQ3 在动态、类真实场景中，人类推理的引入如何改善速度-准确率之间的权衡？
• RQ4 像HARIS这样的低代码、浏览器端仿真平台，能否有效支持可扩展的多人人机-蜂群协同实验？
• RQ5 人类偏好与约束对蜂群机器人去中心化任务分配算法有何影响？

主要发现

• 未经训练的用户在速度-准确率指标上显著优于完全自主的蜂群，通过提前分类目标，减少了不必要的无人机飞行任务。
• 人机-蜂群协同模式减少了浪费的飞行行程，因为操作员能在无人机抵达目标前识别出非伤员。
• 该系统表明，即使非专业用户也能通过及时、低负担的干预显著提升蜂群性能。
• HARIS通过真实地图和基于JSON的配置，实现了在数分钟内快速搭建场景，支持训练和研究的即时部署。
• 仿真平台成功支持多人交互和实时监控，验证了其在大规模用户研究中的实用性。
• 通过引入人类反馈作为约束条件，将人类判断整合进max-sum算法，提升了决策质量，而无需对自主系统进行完整重配置。

Figure 2. Users are shown a simulated image of the target which gets clearer as the agent gets closer to the target. The user can classify the target early, saving the operation time.