[論文レビュー] Building an Integrated Mobile Robotic System for Real-Time Applications in Construction

Khashayar Asadi, Hariharan Ramshankar+8 more|arXiv (Cornell University)|Mar 5, 2018

Robotics and Sensor-Based Localization参考文献 10被引用数 9

ひとこと要約

本論文では、単眼SLAMとリアルタイムの文脈に配慮したシーン理解を統合したモバイルロボットシステムを提示し、自律的な建設現場モニタリングを実現する。複数のNVIDIA Jetson TX1を用いることで、多様な屋外環境において障害物と走行可能な空間のマッピングをほぼリアルタイムで達成し、人的介入なしに頑健で自己完結的な運用を実証した。

ABSTRACT

One of the major challenges of a real-time autonomous robotic system for construction monitoring is to simultaneously localize, map, and navigate over the lifetime of the robot, with little or no human intervention. Past research on Simultaneous Localization and Mapping (SLAM) and context-awareness are two active research areas in the computer vision and robotics communities. The studies that integrate both in real-time into a single modular framework for construction monitoring still need further investigation. A monocular vision system and real-time scene understanding are computationally heavy and the major state-of-the-art algorithms are tested on high-end desktops and/or servers with a high CPU- and/or GPU- computing capabilities, which affect their mobility and deployment for real-world applications. To address these challenges and achieve automation, this paper proposes an integrated robotic computer vision system, which generates a real-world spatial map of the obstacles and traversable space present in the environment in near real-time. This is done by integrating contextual Awareness and visual SLAM into a ground robotics agent. This paper presents the hardware utilization and performance of the aforementioned system for three different outdoor environments, which represent the applicability of this pipeline to diverse outdoor scenes in near real-time. The entire system is also self-contained and does not require user input, which demonstrates the potential of this computer vision system for autonomous navigation.

研究の動機と目的

• 人的介入を最小限に抑えた自律的建設現場監視を実現する自己完備型リアルタイムモバイルロボットシステムの開発。
• 単眼SLAMとシーン理解（意味的セグメンテーション）を統合したモジュラーなフレームワークを構築し、空間マッピングを実現すること。
• 低消費電力の埋め込みハードウェアを用いてリアルタイムの局所化、マッピング、障害物検出を実現すること。
• 照明状態や物体の状態が異なる多様な屋外建設環境において、システムの頑健性とパフォーマンスを検証すること。
• 動的で変化しやすい建設現場環境における自律走行を実現するため、高度なコンピュータビジョンパイプラインを埋め込みプラットフォームに展開可能であることを実証すること。

提案手法

• システムは複数のNVIDIA Jetson TX1ボードを用い、SLAM、文脈に配慮した認識、制御、マッピングモジュールの計算負荷を分散処理する。
• ORB-SLAMを用いて単眼ビジュアルオドメトリと特徴ベースマッピングを実行し、リアルタイムのトラッキングとスケールなしの3次元再構成を提供する。
• GPU上で実行されるENetニューラルネットワークを用いた意味的セグメンテーションパイプラインを導入し、リアルタイムで障害物と走行可能な領域を特定する。
• SLAMモジュールは、トラッキング状態（例：「トラッキング失敗」）を発行し、文脈に配慮した認識モジュールおよび制御モジュールと連携する。
• セグメンテッド画像とオドメトリデータを用いて、グローバルな占有グリッドマップを段階的に更新し、ROS RVIZを用いて可視化する。
• システムは1 Hzのパイプラインレートで動作し、実世界の屋外シーンからの動画シーケンスを処理して空間マップを生成する。

実験結果

リサーチクエスチョン

• RQ1 単眼ビジョンシステムは、動的で変化しやすい屋外建設環境において、リアルタイムで自己完備型の局所化とマッピングを達成できるか？
• RQ2 文脈に配慮した意味的セグメンテーションは、リアルタイムでSLAMと統合され、障害物および走行可能な領域の検出にどの程度効果的に統合できるか？
• RQ3 SLAM、セグメンテーション、マッピングを並列で実行する場合、埋め込みハードウェアにおける計算負荷の分配はどのようになるか？
• RQ4 照明状態や物体の種類が異なる多様な屋外シーンにおいて、システムはどの程度の頑健性とパフォーマンスを維持できるか？
• RQ5 このモジュラーなフレームワークは、より大規模な環境やより複雑なナビゲーションタスクにどの程度拡張可能か？

主な発見

• システムは、3つの異なる屋外建設環境において、障害物と走行可能な領域のリアルタイム2次元空間マップを正常に生成した。
• ORB-SLAMはJetson TX1上でリアルタイム性能を達成し、平均CPU使用率が186％（単一コアの約46.5％に相当）であった。これは、埋め込みハードウェア上での実現可能性を示している。
• 文脈に配慮した認識モジュール（ENetを用いた意味的セグメンテーション）は、GPU使用率が最大100％にまで上昇するなど、顕著なGPU負荷を引き起こし、その高い計算要求を裏付けた。
• システムは全テスト環境で一貫した1 Hzのパイプラインレートで動作し、1つの動画で570～909フレーム（長さ9.5～15.15分）を処理した。
• マッピングおよび制御モジュールの計算負荷は非常に低く、1台のJetsonボード上で複数のモジュールを稼働可能である可能性を示した。
• システムはユーザー入力なしに自律的に動作し、トラッキング状態のフィードバックにより、トラッキングが失敗した場合の経路の再追跡が可能であった。