[論文レビュー] Vision-Based Autonomous UAV Navigation and Landing for Urban Search and Rescue

Mayank Mittal, Rohit Mohan+2 more|arXiv (Cornell University)|Jun 4, 2019

Robotics and Sensor-Based Localization参考文献 22被引用数 13

ひとこと要約

本論文は、独創的なコストマップベースの着陸地点検出アルゴリズムを用いて、瓦礫の積み上げられた場所への安全な着陸を可能にする、都市探査救急活動（USAR）を想定した視覚ベースの自律型ドローン（UAV）システムを提示する。このシステムは、リアルタイムでの状態推定、3次元マッピング、および最小ジャージャー軌道計画を統合し、埋め込みハードウェア上でオンライン運用を実現しており、1フレームあたりの合計計算時間は173.4±59.2 msである。また、真の深度、法線、意味的セグメンテーション、カメラの姿勢を備えた120万枚の画像からなる合成データセットを新たに開発した。

ABSTRACT

Unmanned Aerial Vehicles (UAVs) equipped with bioradars are a life-saving technology that can enable identification of survivors under collapsed buildings in the aftermath of natural disasters such as earthquakes or gas explosions. However, these UAVs have to be able to autonomously navigate in disaster struck environments and land on debris piles in order to accurately locate the survivors. This problem is extremely challenging as pre-existing maps cannot be leveraged for navigation due to structural changes that may have occurred. Furthermore, existing landing site detection algorithms are not suitable to identify safe landing regions on debris piles. In this work, we present a computationally efficient system for autonomous UAV navigation and landing that does not require any prior knowledge about the environment. We propose a novel landing site detection algorithm that computes costmaps based on several hazard factors including terrain flatness, steepness, depth accuracy, and energy consumption information. We also introduce a first-of-a-kind synthetic dataset of over 1.2 million images of collapsed buildings with groundtruth depth, surface normals, semantics and camera pose information. We demonstrate the efficacy of our system using experiments from a city scale hyperrealistic simulation environment and in real-world scenarios with collapsed buildings.

研究の動機と目的

• 事前の地図やインfra構造が存在しない災害後環境において、自律的なドローンナビゲーションと安全な着陸を可能にすること。
• 従来のマーカーや平面性に基づく手法が失敗する、構造のない不安定な瓦礫の積み上げられた場所における安全な着陸地点の検出に取り組むこと。
• 低消費電力の埋め込みハードウェア上で効率的に動作する、オンラインで実行可能な計算コストが低いシステムを構築すること。
• ドローンが崩壊構造物の瓦礫に安定して着陸できることで、バイオレーダーによる生存者検出を支援すること。
• 災害シミュレーションのための、世界初となる120万枚の画像を含む合成データセットを構築すること。このデータセットには真の深度、法線、意味的セグメンテーション、カメラの姿勢が含まれる。

提案手法

• 本システムは、リアルタイムで環境のテクスチャ付き高密度3次元マップを構築するため、TSDFベースの3次元再構成アルゴリズムを用いる。
• 独創的な着陸地点検出アルゴリズムは、深度の正確さ、地形の平坦さ、傾斜、エネルギー消費の4つのコストマップを計算し、それらを統合して最終的な意思決定マップを生成する。
• 最終的なコストマップに対するしきい値処理により、高密度の候補着陸地点を検出し、k-dツリーを用いて重複を除去する。
• クラスタリングに基づくグローバル最適化により、局所的な候補地点を空間的整合性と危険要因を考慮して安全な着陸領域にグループ化する。
• 最小ジャージャー軌道計画アルゴリズムが、障害物を避けながら滑らかで動的要因を考慮した経路を生成する。
• 状態推定、マッピング、着陸検出を含む全パイプラインは、1フレームあたり173.4±59.2 msの計算時間で、埋め込み型Intel Core i7-8750H CPU上でオンラインで実行される。

実験結果

リサーチクエスチョン

• RQ1 事前の地図やマーカーが存在しない状況下で、ドローンが構造のない不安定な瓦礫の積み上げられた場所において、安全な着陸地点を自律的に検出する方法は何か？
• RQ2 平坦さ、傾斜、深度の信頼性、エネルギーコストといった視覚的危険要因の組み合わせの中で、災害後環境において信頼性の高い着陸地点検出を可能にする要因は何か？
• RQ3 リアルタイムでの3次元再構築とオンラインでの着陸検出を備えた視覚ベースのシステムが、低消費電力の埋め込みハードウェア上で、USARミッションに適したリアルタイム運用を効率的に行えるか？
• RQ4 バイオレーダーセンサーの統合が、崩壊構造物内でのドローンの着陸およびナビゲーション戦略にどのように影響を与えるか？
• RQ5 真の深度、法線、意味的セグメンテーション、カメラの姿勢を備えた120万枚の画像からなる合成データセットは、USAR用自律ドローンシステムのトレーニングおよび評価をどの程度向上させ得るか？

主な発見

• 着陸地点検出システムは、埋め込み型Intel Core i7-8750H CPU上で1フレームあたり173.4±59.2 msの合計計算時間を達成し、リアルタイムでのオンライン運用を可能にした。
• 平坦さコストマップの計算には高いばらつき（91.7±38.8 ms）が見られ、これはCannyエッジマップに基づく距離変換に依存しており、画像の内容に依存する。
• グローバルな着陸地点選択のためのクラスタリング手順は125.5±100.3 msを要し、候補地点の数が増加するにつれて安定化し、一貫性のある性能を発揮した。
• 本システムは、ハイパーリアリスティックな都市規模のシミュレーションおよび実際の崩壊建物のシナリオの両方で、自律的なナビゲーションと着陸を成功裏に実装した。
• 提案された合成データセットには120万枚以上のRGB画像が含まれており、真の深度、表面法線、意味的セグメンテーション、カメラの姿勢が付随しており、強固なトレーニングと評価を可能にした。
• バイオレーダー対応の着陸が可能になったことで、ドローンが瓦礫に安定して着陸でき、信号取得が正確に行えるようになった。