[論文レビュー] On the Advantages of Multiple Stereo Vision Camera Designs for Autonomous Drone Navigation

Rui Pimentel de Figueiredo, Jakob Grimm Hansen+3 more|arXiv (Cornell University)|May 26, 2021

Robotics and Sensor-Based Localization参考文献 5被引用数 6

ひとこと要約

本論文は、再構成可能カメラアレイを備えたマルチステレオカメラドローンシステムを提案し、自律ドローンナビゲーションを実現する。視覚慣性SLAM、BiseNetを用いたセマンティックセグメンテーション、次に最良のビュー（NBV）計画を統合することで、マッピング精度と知覚カバレッジを向上させる。主な発見は、3台のカメラが飛行時間、計算負荷、マッピングパフォーマンスの最適なトレードオフを実現し、シングルカメラおよび5台カメラ構成を上回ることである。実世界シミュレーションにおいてその有効性が確認された。

ABSTRACT

In this work we showcase the design and assessment of the performance of a multi-camera UAV, when coupled with state-of-the-art planning and mapping algorithms for autonomous navigation. The system leverages state-of-the-art receding horizon exploration techniques for Next-Best-View (NBV) planning with 3D and semantic information, provided by a reconfigurable multi stereo camera system. We employ our approaches in an autonomous drone-based inspection task and evaluate them in an autonomous exploration and mapping scenario. We discuss the advantages and limitations of using multi stereo camera flying systems, and the trade-off between number of cameras and mapping performance.

研究の動機と目的

• 複雑な人工構造物環境における自律点検を目的としたマルチステレオカメラドローンシステムの設計と評価。
• カメラ数、飛行時間、計算負荷、マッピングパフォーマンスのトレードオフの評価。
• 確率的セマンティックメトリックマッピングと次に最良のビュー（NBV）計画を統合し、探索効率の向上。
• エネルギー効率と知覚カバレッジの両立を考慮した最適なカメラ構成（1、3、5台）の特定。
• 実世界の制約を反映したリアルなGazeboシミュレーション環境でのシステムの検証。

提案手法

• 四脚クアッドコプター（DJI F450）に、最大5台のステレオカメラ（ZED 2およびMini）を直交軸に配置し、全方向の視覚的カバレッジを実現。
• 視覚データとIMUデータを拡張カルマンフィルタ（EKF）を用いて融合し、状態推定および視覚慣性オドメトリ（VIO）を向上。
• 再構成可能なマルチステレオカメラ構成により、計画のニーズに応じてアクティブなカメラを動的に選択可能。
• RGB画像に対して軽量なBiseNetベースのDCNNを用いてセマンティックセグメンテーションを実行し、ピxls単位のクラス確率分布を生成。
• 深度データを用いてセマンティック予測を3次元に投影し、ボリュメトリックオクタマップに統合して確率的セマンティックメトリックマッピングを実現。
• RRTベースのNBVプランナは、幾何学的およびセマンティック情報の両方を活用し、探索中に情報量の多い視点を選択。

実験結果

リサーチクエスチョン

• RQ1 カメラ数を増やす（1、3、5台）ことで、自律ドローンナビゲーションにおけるマッピングパフォーマンスと飛行時間にどのような影響を与えるか？
• RQ2 マルチカメラによる知覚カバレッジと再構築精度は、シングルカメラシステムに比べてどのように向上するか？
• RQ3 実ドローンプラットフォームにおいて、カメラ数、消費電力、飛行時間の最適なトレードオフは何か？
• RQ4 セマンティック情報とメトリック情報は、複雑な屋内環境における次に最良のビュー計画を効果的に支援できるか？
• RQ5 背面および下面のカメラは、前面および側面カメラと比較して、長期的なマッピングパフォーマンスにどの程度寄与するか？

主な発見

• 5台のカメラを用いることで知覚カバレッジが向上し、完全カバレッジに到達するまでの時間が短縮されたが、飛行時間の著しい短縮を伴った。
• 平均飛行時間は、M=1の8.79 ± 0.86分からM=5の6.00 ± 0.99分に減少し、カメラを追加するごとに電力および重量のペナルティが顕著に増加した。
• M=3の構成が最良のバランスを達成し、カバレッジおよびマッピング効率の大幅な向上を実現しながら、飛行時間は8.17 ± 0.41分を維持した。
• 前面および側面カメラが背面および下面カメラよりも長期的なマッピングに寄与が大きく、遮蔽および視野の重複が限られるため、情報量の増加が小さい。
• シミュレーションにおいて、システムは頑健なセマンティックメトリックマッピングを達成し、オクタマップの可視化から時間経過に伴う正確なセマンティックラベル付けと占有領域の増加が確認された。
• NBVプランナは情報量の多い視点を効果的に優先し、幾何学的およびセマンティックの両方の手がかりを活用してマッピング収束を加速した。