[論文レビュー] RescueAR: Augmented Reality Supported Collaboration for UAV Driven Emergency Response Systems

Ankit Agrawal, Jane Cleland‐Huang|arXiv (Cornell University)|Sep 30, 2021

Augmented Reality Applications被引用数 4

ひとこと要約

RescueAR は、人間の対応者と無人航空機（UAV）間で緊急現場の情報をリアルタイムで位置ベースでタグ付け、可視化、共有できる位置ベースの拡張現実（AR）プラットフォームです。Flying-AR、FirstResponse-AR、Mission-Control の3つのインターフェースを用いることで、空間認識能力と通信の正確性が向上し、理想的な条件下でポイント・オブ・インタレスト（POI）の位置特定を2メートル以内で達成しています。

ABSTRACT

Emergency response events are fast-paced, noisy, and they require teamwork to accomplish the mission. Furthermore, the increasing deployment of Unmanned Aerial Vehicles (UAVs) alongside emergency responders, demands a new form of partnership between humans and UAVs. Traditional radio-based information exchange between humans during an emergency response suffers from a lack of visualization and often results in miscommunication. This paper presents a novel collaboration platform: RescueAR, which utilizes the paradigm of Location-based Augmented Reality to geotag, share, and visualize information. RescueAR aims to support the two-way communication between humans and UAVs, facilitate collaboration across diverse responders, and visualize scene information relevant to the rescue team's role. According to our feasibility study, a user study, followed by a focus group session with police officers, RescueAR can support rescue teams in developing the spatial cognition of the scene, facilitate the exchange of geolocation information, and complement existing communication tools during the UAV-supported emergency response.

研究の動機と目的

• 騒音が強く視覚的でない無線通信による緊急対応における情報伝達の断絶を是正すること。
• UAV支援ミッション中における現場対応者および遠隔チームの空間認識能力と状況理解を向上させること。
• 位置タグ付きのAR可視化情報共有を通じて、人間とUAV間の双方向連携を可能にすること。
• 現場対応、遠隔監視、ミッション指揮の各役割に特化したARインターフェースを提供し、多様な緊急対応の役割を支援すること。
• 専門家のフィードバックと制御された研究を用いて、現実世界の緊急対応シナリオにおけるAR連携の実現可能性と使いやすさを評価すること。

提案手法

• 3つのコンponentから成るARシステムであるRescueARを設計・実装：Flying-AR（空中映像の遠隔アノテーション）、FirstResponse-AR（位置特定済みのポイント・オブ・インタレストの現場でのAR可視化）、Mission-Control（UAV、映像ストリーム、POIの空間的要約を統合した中央集約型ダッシュボード）。
• 都市環境におけるPOIのセンチメートルレベルの位置特定精度を実現するため、GPSとRTK（リアルタイムキネマティック）基準局を活用。
• ライブの空中映像フィードに位置タグ付け機能を統合し、遠隔ユーザーがリアルタイムで負傷者や危険物をマークできるようにする。
• モバイルデバイスおよびARグラスを介して、現場対応者が直接視野内に空間的文脈を認識できるように、位置特定済みPOIのAR可視化を実現。
• 6名の参加者を対象とした使いやすさ評価研究と、警察官を対象としたフォーカスグループを実施し、システムのパフォーマンスとユーザーエクスペリエンスを評価。
• 事前に記録した映像と既知のPOI座標を用いて位置特定精度を分析し、制御された条件下で2メートルの精度を達成。

実験結果

リサーチクエスチョン

• RQ1 UAV支援緊急対応の場面において、ARベースの位置タグ付けと可視化は、状況認識能力や空間認識能力の向上に寄与するか？
• RQ2 高ストレス状況下における位置特定情報の共有・解釈において、緊急対応者がARインターフェースの使いやすさと価値をどのように認識しているか？
• RQ3 急展開するミッションにおいて、リアルタイム映像の流れとアノテーションの正確性の両立を図る際の、ARインターフェース設計における主なトレードオフとは何か？
• RQ4 RescueARは、現場対応者、遠隔監視者、ミッション指揮官の間の通信ミスをどの程度低減し、連携を改善できるか？
• RQ5 対応者間のUAV経験の差が、AR支援連携ツールの採用と効果にどのように影響するか？

主な発見

• 理想的な条件下で、RescueARはPOIの位置特定精度を2メートル以内に達成し、信頼性の高い空間的参照が可能であることを示した。
• 使いやすさ評価研究の参加者からは、Flying-ARが変化する現場状況を一貫して把握できる能力を高めたと報告された。
• フォーカスグループに参加した警察官は、RescueARを警察活動における既存の通信システムの貴重な補完と強く支持した。
• 6名のうち4名の参加者が、アノテーションの正確性を確保するため、空中映像を一時停止することを好んだ。これは、リアルタイムの流れとアノテーションの正確性の間で重要なUXのトレードオフがあることを示している。
• ARで位置特定済みPOIを可視化できる能力のおかげで、従来の無線通信に比べ、共有情報の明確さと持続性が顕著に向上した。
• 参加者たちは、状況認識を失わずにアノテーションを支援するため、動画のバッファリングと再生速度の調整機能の必要性を指摘した。これは、今後のインターフェース改善が不可欠であることを示唆している。