[논문 리뷰] Multimodal Interaction with Multiple Co-located Drones in Search and Rescue Missions

Jonathan Cacace, Alberto Finzi외 1명|arXiv (Cornell University)|2016. 05. 24.

Speech and dialogue systems참고 문헌 12인용 수 21

한 줄 요약

이 논문은 알프스 산악 구조 임무에서 바쁜 구조대원이 제스처, 음성 및 태블릿 입력을 통해 동반된 다수의 드론을 공동으로 제어할 수 있도록 하는 다중모달, 혼합 주도형 인간-로봇 상호작용 프레임워크를 제시한다. 시스템은 실시간 제스처 및 음성 명령을 자율적 드론 행동과 통합하여 시간 압박 상황에서도 효율적이고 자연스러운 상호작용을 가능하게 하며, 결과적으로 세 대의 드론이 두 대보다 피해자 탐지 속도와 성공률에서 뚜렷이 뛰어나며 평균 5.6명의 피해자를 발견하고 첫 세 명의 피해자를 찾는 데 평균 96.6초가 소요됨.

ABSTRACT

We present a multimodal interaction framework suitable for a human rescuer that operates in proximity with a set of co-located drones during search missions. This work is framed in the context of the SHERPA project whose goal is to develop a mixed ground and aerial robotic platform to support search and rescue activities in a real-world alpine scenario. Differently from typical human-drone interaction settings, here the operator is not fully dedicated to the drones, but involved in search and rescue tasks, hence only able to provide sparse, incomplete, although high-value, instructions to the robots. This operative scenario requires a human-interaction framework that supports multimodal communication along with an effective and natural mixed-initiative interaction between the human and the robots. In this work, we illustrate the domain and the proposed multimodal interaction framework discussing the system at work in a simulated case study.

연구 동기 및 목표

• 운영자가 드론 제어에 전적으로 전념하지 못하는 고스트레스, 시간 제약이 있는 알프스 산악 구조(SAR) 임무에서 인간-드론 상호작용의 과제를 해결하기 위해.
• 바쁜 구조대원이 제스처, 음성 및 태블릿 명령을 통해 희소적이지만 고가치의 입력을 자연스럽게 제공할 수 있도록 하는 다중모달 상호작용 프레임워크를 설계하기 위해.
• 자율 주도, 혼합 주도, 원격 조작 등 다양한 제어 모드를 제공하여 운영자의 의도에 따라 원활하게 전환 가능하도록 하기 위해.
• 다수의 드론을 동반한 시뮬레이션된 알프스 산악 구조 환경에서 상호작용 프레임워크의 효과성을 평가하기 위해.
• 운영자 부담을 균형 있게 유지하고 다수의 드론 간 효과적인 협업을 보장하기 위해.

제안 방법

• 시스템은 제스처 인식(마이오 암밴드를 통한), 음성 명령, 태블릿 기반 UI를 결합한 다중모달 상호작용 아키텍처를 활용한다.
• 명령 기반 및 조작기 기반 상호작용 메타포를 모두 지원하여 실행 중 정밀 제어 및 경로 조정이 가능하도록 한다.
• 지시적 의사소통은 음성(예: '거기로 가')과 손가락 가리키기 제스처를 동기화하여 드론 동작을 유도함으로써 가능해진다.
• 혼합 주도 제어 루프는 인간의 입력을 지속적으로 해석하여 로봇 제어 시스템에 통합하고 실시간으로 드론 행동을 조정한다.
• 태블릿 인터페이스를 사용해 모니터링 및 명령 발행을 수행하는 시뮬레이션된 알프스 환경에서 2~3대의 드론을 대상으로 프레임워크를 평가한다.
• 상호작용 모odal 및 제어 모드의 로그를 기록하고 분석하여 부담 분포, 명령 사용률, 시스템 성능를 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 다중모달 상호작용 프레임워크가 고위험, 고스트레스의 산악 구조 임무에서 바쁜 구조대원과 다수의 공존 드론 간 효과적이고 자연스럽고 견고한 의사소통을 지원할 수 있는가?
• RQ2 제스처와 음성 입력을 조합함으로써 시간 제약이 있는 상황에서 드론 제어의 효율성과 직관성은 어느 정도 향상되는가?
• RQ3 다수의 드론을 관리할 때 운영자 부담은 어떻게 분포되며, 시스템은 균형 잡힌 비효율적인 모니터링 및 제어를 지원하는가?
• RQ4 세 대의 드론을 사용할 경우와 두 대를 사용할 경우의 피해자 탐지 속도 및 성공률에 어떤 영향을 미치는가?
• RQ5 자율 주도, 혼합 주도, 원격 조작 등의 다양한 제어 모드는 임무 효율성과 운영자 참여도에 어떤 기여를 하는가?

주요 결과

• 세 대의 드론을 사용할 경우 두 대보다 피해자 탐지 성능이 뚜렷이 향상되며, 평균 5.6명의 피해자를 발견한 반면 두 대일 경우 평균 3.9명을 발견함(p < .0001).
• 세 대의 드론을 사용할 경우 첫 세 명의 피해자를 찾는 데 평균 96.6초가 소요되었고, 두 대일 경우 249.6초가 소요됨(p < .0001).
• 제스처 기반 명령이 자주 사용되었으며, 특히 음성과 조합하여 사용되는 경향이 있었고, 순수 음성 명령은 덜 자주 사용되어 다중모달 상호보완성이 뚜렷이 드러남.
• 운영자 주의 분포가 균형을 이루었으며, 가장 활동적인 드론에 대해 평균 108초(총 시간의 30%)를 할애하고, 모든 드론을 동시에 모니터링하는 데 평균 75.6초(총 시간의 22%)를 할애함.
• 드론은 주로 자율 주도 모드에서 운영되었으며(지배적), 원격 조작 모드에서의 시간은 매우 소수에 불과하여 자율 주도 기반의 효과적인 신뢰와 최소한의 직접 제어를 확인함.
• 모든 여섯 명의 피해자를 찾는 성공률은 세 대의 드론을 사용할 경우 46.6%였고, 두 대일 경우 0%였으며, 이는 다중모달 프레임워크의 확장성과 견고성을 입증함.