[논문 리뷰] Demonstrating Performance Benefits of Human-Swarm Teaming

William Hunt, Jack Ryan외 3명|arXiv (Cornell University)|2023. 03. 22.

Simulation Techniques and ApplicationsDecision Sciences인용 수 3

한 줄 요약

이 논문은 인간-드론 기동 팀워크를 위한 웹 기반 시뮬레이션 플랫폼인 HARIS를 소개한다. 이 플랫폼은 실시간 시각 피드를 통해 인간 운영자가 조기에 목표물을 분류함으로써 자율 드론 기동대의 성능을 향상시키는 것을 목적으로 한다. 시스템은 훈련되지 않은 사용자도 완전히 자율적인 기동대보다 성능(속도-정확도)을 크게 향상시키며, 불필요한 미션을 줄이는 데 기여함을 입증한다.

ABSTRACT

Autonomous swarms of robots can bring robustness, scalability and adaptability to safety-critical tasks such as search and rescue but their application is still very limited. Using semi-autonomous swarms with human control can bring robot swarms to real-world applications. Human operators can define goals for the swarm, monitor their performance and interfere with, or overrule, the decisions and behaviour. We present the ``Human And Robot Interactive Swarm'' simulator (HARIS) that allows multi-user interaction with a robot swarm and facilitates qualitative and quantitative user studies through simulation of robot swarms completing tasks, from package delivery to search and rescue, with varying levels of human control. In this demonstration, we showcase the simulator by using it to study the performance gain offered by maintaining a ``human-in-the-loop'' over a fully autonomous system as an example. This is illustrated in the context of search and rescue, with an autonomous allocation of resources to those in need.

연구 동기 및 목표

• 재난 대응과 같은 안전이 중요한 환경에서 대규모 로봇 기동대를 관리하는 데 도전하는 문제를 해결하기 위해, 완전한 자율성은 신뢰성이 떨어지고 완전한 인간 제어는 비현실적이기 때문이다.
• 다중 사용자 상호작용을 지원하는 영구적이고 접근 가능한 시뮬레이션 환경을 개발하여 인간-기동대 팀워크 연구를 지원하기 위해이다.
• 실제 세계와 유사한 동적 환경에서 인간이 제어에 참여하는 방식이 성능에 어떤 영향을 미치는지 평가하기 위해이다.
• JSON 기반 설정과 Google Maps를 통한 실제 지도 통합을 통해 사용자 정의 시나리오를 빠르게 배포할 수 있도록 하기 위해이다.
• 저코드, 브라우저 기반 플랫폼을 제공하여 인간-로봇 상호작용을 시험할 수 있도록 하여 사용자 연구를 촉진하기 위해이다.

제안 방법

• HARIS는 HutSim 디지털 트윈 플랫폼 기반의 자바 기반 웹 애플리케이션으로, 인간 감시 모드에서 다중 UAV 기동대의 실시간 시뮬레이션을 가능하게 한다.
• 시스템은 UAV 간 총 에너지 소비를 최소화하기 위해 분산된 max-sum 조율 알고리즘을 사용한다.
• 운영자가 실시간 UAV 카메라 피드를 보여주는 동적 인터페이스를 통해 상호작용하며, UAV가 목표에 가까워질수록 해상도가 점차 향상된다.
• 이미지 해상도가 충분히 높아질 경우, 운영자는 목표물을 '부상자' 또는 '비부상자'로 수동으로 분류할 수 있으며, 이는 낭비되는 미션을 줄인다.
• 인터페이스는 사용자 정의 가능한 렌즈와 실시간 시나리오 편집을 지원하여, 사용자가 JSON 설정을 사용해 새로운 지도, 에이전트, 목표, 위험 요소를 정의할 수 있다.
• 성능 평가에는 분류 수(분당)와 정확도의 조합된 지표를 사용하여 인간-기동대 팀워크와 완전히 자율적인 기동대를 비교한다.

Figure 1. The HARIS interface uses Google Maps to provide a realistic command centre for the swarm

실험 결과

연구 질문

• RQ1 훈련되지 않은 인간 운영자가 조기에 목표물을 분류함으로써 자율 UAV 기동대의 성능을 재난 구조 상황에서 향상시킬 수 있는가?
• RQ2 완전히 자율적인 운영 대비 인간이 제어에 참여하는 방식이 불필요한 UAV 미션 수를 얼마나 줄이는가?
• RQ3 실제 세계와 유사한 동적 환경에서 인간의 사고 방식이 속도-정확도 트레이드오프를 어떻게 향상시키는가?
• RQ4 HARIS와 같은 저코드, 브라우저 기반 시뮬레이션 플랫폼이 스케일링 가능하고 다중 사용자 인간-기동대 팀워크 실험을 효과적으로 지원할 수 있는가?
• RQ5 인간의 선호도와 제약 조건이 기동대 로봇의 분산 작업 할당 알고리즘에 어떤 영향을 미치는가?

주요 결과

• 훈련되지 않은 사용자들이 조기에 목표물을 분류함으로써 완전히 자율적인 기동대보다 속도-정확도 지표에서 뚜렷한 성능 향상을 보였다. 이는 불필요한 UAV 미션을 줄였기 때문이다.
• 인간-기동대 팀워크 모드에서는 UAV가 목표지점에 도달하기 전에 비부상자임을 식별할 수 있었기 때문에 낭비된 이동 수가 감소했다.
• 시스템은 비전문가 사용자도 조기에 간단한 조치를 취함으로써 기동대 성능을 의미 있게 향상시킬 수 있음을 입증했다.
• HARIS는 실제 지도와 JSON 기반 설정을 사용해 몇 분 내로 시나리오를 신속하게 설정할 수 있었으며, 이는 훈련 및 연구에 즉각적인 배포를 가능하게 했다.
• 이 시뮬레이션 플랫폼은 다중 사용자 상호작용과 실시간 모니터링을 성공적으로 지원하여 대규모 사용자 연구에 실용성을 입증했다.
• max-sum 알고리즘에 인간 피드백을 제약 조건으로 통합함으로써, 자율 시스템의 전체 재구성 없이도 의사결정을 향상시켰다.

Figure 2. Users are shown a simulated image of the target which gets clearer as the agent gets closer to the target. The user can classify the target early, saving the operation time.