[論文レビュー] Autonomous Aerial Robotic Surveying and Mapping with Application to Construction Operations

Huan Nguyen, Frank Mascarich+2 more|arXiv (Cornell University)|May 9, 2020

Robotics and Sensor-Based Localization参考文献 18被引用数 8

ひとこと要約

本稿では、LiDAR、可視光、赤外線画像、慣性計測を統合したマルチモーダルセンシングを用いて、GPS不可条件下でも自律的に複雑な建設現場における3次元マッピングと在庫管理を実現する自律型空中ロボットシステム、Robotized Construction Site Surveyor（RCSS）を提案する。このシステムは、高精度な3次元マップを自動生成し、在庫管理のための関心対象物の検出・位置特定を実行する。実際の建設現場および屋内環境での実証実験により、図面が存在しない状態の露出した木材構造物の正確なメトリック再構築が確認された。

ABSTRACT

In this paper we present an overview of the methods and systems that give rise to a flying robotic system capable of autonomous inspection, surveying, comprehensive multi-modal mapping and inventory tracking of construction sites with high degree of systematicity. The robotic system can operate assuming either no prior knowledge of the environment or by integrating a prior model of it. In the first case, autonomous exploration is provided which returns a high fidelity $3 extrm{D}$ map associated with color and thermal vision information. In the second case, the prior model of the structure can be used to provide optimized and repetitive coverage paths. The robot delivers its mapping result autonomously, while simultaneously being able to detect and localize objects of interest thus supporting inventory tracking tasks. The system has been field verified in a collection of environments and has been tested inside a construction project related to public housing.

研究の動機と目的

• 複雑でGPSが利用できない建設現場において、体系的かつ自律的な3次元マッピングと点検を実現できる自律型空中ロボットシステムの開発。
• 事前環境知識がなくても自律的探索が可能であり、構造物の事前モデルを用いた最適化された点検が可能であることを実現。
• 視認性が低い状況下でもロバストな局所化とマッピングを実現するため、LiDAR、可視光、赤外線、IMUのマルチモーダルセンシングを統合。
• 3次元マップ内でのリアルタイムな関心対象物の検出・位置特定により、自動在庫追跡を支援。
• 実際の建設現場および屋内環境（火災後の木材構造物、公共住宅プロジェクトなど）でシステムを実証。

提案手法

• 本システムは、LiDARオドメトリ、可視光カメラ-IMU融合（ROVIO）、赤外線-慣性オドメトリを統合した、緩く結合されたマルチモーダル局所化・マッピングフレームワークを採用。視認性が低い状況下でも耐障害性を確保。
• 高レート（20–30 FPS）の可視光および赤外線-慣性更新をLiDARベースのマッピングと統合し、動的または遮蔽物が多い環境下での精度と耐障害性を向上。
• 自律的探索のため、事前モデルが存在しない場合に全環境を網羅的にスキャンできるカバレージベースの経路計画アルゴリズムを採用。
• 最適化された点検のため、構造物の事前3次元モデルを用いて、制限されたセンサ視野を考慮した均一かつ全カバレージの点検経路を生成。
• 物体検出にはYOLOv3ベースの検出器を採用し、ボリュメトリック再構築上でのレイキャスティングにより、物体のポーズを3次元マップに投影。
• 複数のミッションから得られた点群データをICPまたは類似手法でアライメントし、時間経過に伴う構造的変化を検出可能に。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルセンサ統合を用いて、GPS不可で複雑な建設現場環境において高精度な3次元マッピングを自律型空中ロボットが達成可能か？
• RQ2 事前知識なしの自律的探索と、事前モデルを用いた最適化された繰り返し点検の両方に対応可能な経路計画の適応方法は何か？
• RQ3 ほこりや暗所、テクスチャが乏しい建設現場環境下で、赤外線および可視光-慣性センシングが局所化の耐障害性をどの程度向上できるか？
• RQ4 飛行中にリアルタイムで関心対象物を自動検出・位置特定し、在庫追跡に活用できるか？
• RQ5 図面が存在しない複雑で露出した木材構造物において、本システムは正確なメトリックマップをどの程度正確に再構築できるか？

主な発見

• RCSSは、ネバダ大学リノ校のアーツ・ビルドイングの通路で、環境の事前知識なしに高精度な3次元マップを生成した。
• YOLOv3を用いたリアルタイムの物体検出・位置特定が実現され、レイキャスティングによりオンラインボリュメトリックマップ上に物体クラス、3次元ポーズ、タイムスタンプを報告。
• 図面が存在しない火災後のコミュニティ住宅建設現場においても、正確なメトリックマップを生成し、図面なし環境での対応能力を実証。
• 事前橋梁モデルに基づく経路計画により、均一なセンサ視野分布を実現した全カバレージ点検が可能であり、シミュレーションで検証済み。
• 複数ミッションの点群アライメントにより、構造的変化の視覚的検出が可能となり、自動進捗監視の重要な要因を提供。
• 実地試験により、ほこりや低照度環境下でもマルチモーダルセンサ統合のおかげでシステムの耐障害性が確認された。