[논문 리뷰] RescueAR: Augmented Reality Supported Collaboration for UAV Driven Emergency Response Systems

Ankit Agrawal, Jane Cleland‐Huang|arXiv (Cornell University)|2021. 09. 30.

Augmented Reality Applications인용 수 4

한 줄 요약

RescueAR는 인간 대응자와 드론 간에 비상 상황 정보를 실시간으로 지도 기반으로 태깅하고 시각화하며 공유할 수 있는 위치 기반 증강현실 플랫폼이다. '비행-AR', '제1응답-AR', '미션제어'의 세 가지 인터페이스를 통해 공간 인지 능력과 의사소통 정확도를 향상시켜 이상 조건에서 2미터 이내의 POI 지도 위치 특정을 달성한다.

ABSTRACT

Emergency response events are fast-paced, noisy, and they require teamwork to accomplish the mission. Furthermore, the increasing deployment of Unmanned Aerial Vehicles (UAVs) alongside emergency responders, demands a new form of partnership between humans and UAVs. Traditional radio-based information exchange between humans during an emergency response suffers from a lack of visualization and often results in miscommunication. This paper presents a novel collaboration platform: RescueAR, which utilizes the paradigm of Location-based Augmented Reality to geotag, share, and visualize information. RescueAR aims to support the two-way communication between humans and UAVs, facilitate collaboration across diverse responders, and visualize scene information relevant to the rescue team's role. According to our feasibility study, a user study, followed by a focus group session with police officers, RescueAR can support rescue teams in developing the spatial cognition of the scene, facilitate the exchange of geolocation information, and complement existing communication tools during the UAV-supported emergency response.

연구 동기 및 목표

• 소음이 심하고 시각적 요소가 부족한 라디오 통신으로 인한 비상 대응의 의사소통 단절 문제를 해결한다.
• 드론 지원 임무 중 제1응답자와 원격 팀 간의 공간 인지 능력과 상황 이해도를 향상시킨다.
• 지도 기반 태깅된 정보를 활용한 증강현실 시각화를 통해 인간과 드론 간의 이원적 협업을 가능하게 한다.
• 현장 대응자, 원격 모니터링자, 미션 지휘자 등 다양한 비상 대응 역할을 위한 역할 기반 AR 인터페이스를 통해 다양한 역할을 지원한다.
• 전문가 피드백과 통제된 실험을 통해 실세계 비상 상황에서 AR 기반 협업의 실현 가능성과 사용성 평가를 수행한다.

제안 방법

• 세 구성 요소로 이루어진 AR 시스템인 RescueAR를 설계 및 구현한다: 비행-AR(공중 영상에 대한 원격 태깅), 제1응답-AR(지도 기반 POI를 시각화하는 현장용 AR), 미션제어(드론, 영상 스트림, POI의 공간적 요약을 통합 관리하는 중앙 집중식 시스템).
• 도시 환경에서 POI의 센티미터 수준의 지도 기반 정확도를 확보하기 위해 GPS와 RTK(실시간 운용 기반) 기반 기지국을 사용한다.
• 실시간으로 공중 영상 피드를 지도 태깅 기능과 통합하여 원격 사용자가 부상자나 위험 요소를 실시간으로 표시할 수 있도록 한다.
• 모바일 기기와 AR 안경을 통해 현장 대응자가 직접 시야에 공간적 맥락을 인식할 수 있도록 지도 기반 POI를 증강현실로 시각화한다.
• 사용성 연구를 위해 6명의 참가자와 경찰관 중심의 포커스 그룹을 실시하여 시스템 성능과 사용자 경험을 평가한다.
• 사전 기록된 영상와 알려진 POI 좌표를 활용해 지도 기반 정확도를 분석하여 이상 조건에서 2미터 정밀도를 달성한다.

실험 결과

연구 질문

• RQ1 드론 지원 비상 대응 중 AR 기반 지도 태깅과 시각화가 상황 인지 능력과 공간 인지 능력을 향상시키는가?
• RQ2 비상 대응자가 고압 상황에서 지도 기반 정보 공유 및 해석에 있어 AR 인터페이스의 사용성과 가치를 어떻게 평가하는가?
• RQ3 빠르게 진행되는 임무 중 실시간 영상 흐름과 태깅 정밀도를 균형 잡는 데 있어 AR 인터페이스 설계에서의 핵심 설계 상충 요소는 무엇인가?
• RQ4 RescueAR은 현장 대응자, 원격 모니터링자, 미션 지휘자 간의 의사소통 오류를 어느 정도 줄이고 협업을 향상시킬 수 있는가?
• RQ5 비상 대응자들 간의 드론 경험 수준의 다양성이 AR 기반 협업 도구의 도입 및 효과성에 어떤 영향을 미치는가?

주요 결과

• 이상 조건에서 RescueAR는 POI의 지도 기반 정확도를 2미터 이내로 확보하여 신뢰할 수 있는 공간 기반 참조 기능을 입증했다.
• 사용성 연구 참가자들은 비행-AR가 변화하는 상황에 대한 일관된 상황 인지 능력을 향상시킨다고 보고했다.
• 포커스 그룹에 참여한 경찰관들은 RescueAR를 법집행 운영에서 기존 통신 시스템의 유용한 보완 수단으로 강력히 지지했다.
• 사용성 연구 참가자 6명 중 4명은 태깅 정밀도를 확보하기 위해 공중 영상 재생을 일시정지하는 것을 선호했으며, 이는 실시간 흐름과 태깅 정밀도 사이의 핵심 사용자 경험 상충 요소를 드러냈다.
• AR로 지도 기반 POI를 시각화할 수 있는 기능은 기존 라디오 기반 통신에 비해 정보 공유의 명확성과 지속성 측면에서 뚜렷한 향상을 이뤘다.
• 참가자들은 상황 맥락을 잃지 않으면서 태깅을 지원하기 위해 영상 버퍼링과 재생 속도 조절 기능이 필요하다고 지적했으며, 이는 향후 인터페이스 개선이 필수적임을 시사한다.