[論文レビュー] Real-time Scalable Dense Surfel Mapping

Kaixuan Wang, Fei Gao+1 more|arXiv (Cornell University)|Sep 10, 2019

Robotics and Sensor-Based Localization参考文献 23被引用数 4

ひとこと要約

本論文は、スーパーピクセルに基づくサーフェルとポーズグラフ駆動型融合を用いて、大規模環境においてグローバルな整合性を達成するリアルタイムでCPU専用の密度の高いサーフェルマッピングシステムを提案する。サーフェルをSLAMのポーズグラフに従って整理することで、モデルスケールに依存しないO(1)の融合時間と、ループクロージャー補正のための高速なマップ変形を実現し、GPU加速なしでRGB-D、ステレオ、モノクロナル深度入力からのスケーラブルでメモリ効率の良い再構成を可能にする。

ABSTRACT

In this paper, we propose a novel dense surfel mapping system that scales well in different environments with only CPU computation. Using a sparse SLAM system to estimate camera poses, the proposed mapping system can fuse intensity images and depth images into a globally consistent model. The system is carefully designed so that it can build from room-scale environments to urban-scale environments using depth images from RGB-D cameras, stereo cameras or even a monocular camera. First, superpixels extracted from both intensity and depth images are used to model surfels in the system. superpixel-based surfels make our method both run-time efficient and memory efficient. Second, surfels are further organized according to the pose graph of the SLAM system to achieve $O(1)$ fusion time regardless of the scale of reconstructed models. Third, a fast map deformation using the optimized pose graph enables the map to achieve global consistency in real-time. The proposed surfel mapping system is compared with other state-of-the-art methods on synthetic datasets. The performances of urban-scale and room-scale reconstruction are demonstrated using the KITTI dataset and autonomous aggressive flights, respectively. The code is available for the benefit of the community.

研究の動機と目的

• CPU計算のみを用いて、大規模環境でリアルタイムかつグローバルに整合性のある密度の高い3次元再構成を実現すること。
• ルームスケールから都市スケールの環境における、密度の高いサーフェルマッピングのスケーラビリティとメモリ効率の課題を解決すること。
• GPU加速なしで、ステレオおよびモノクロナルカメラからの低品質な深度マップの融合を可能とすること。
• 効率的なサーフェル整理とポーズグラフベースのマップ変形により、リアルタイム性能とグローバルな整合性を維持すること。
• 多様なロボットプラットフォームおよびセンサータイプに対応可能な堅牢で汎用的なマッピングシステムを提供すること。

提案手法

• 外れ値に強いスーパーピクセルを強度画像および深度画像から抽出し、それらを用いてサーフェルを初期化することで、メモリ使用量を削減し、ノイズの多い深度に強い耐性を向上させる。
• サーフェルは最後に観測されたキーフレームに基づいて整理されるため、局所的な融合と、モデルスケールに依存しないO(1)の融合時間が実現される。
• スパースSLAMシステム（例：ORB-SLAM2）から得られる最適化済みポーズグラフを活用して、局所的に整合性のあるサーフェルクラスタを特定し、効率的な融合を実現する。
• 最適化済みポーズグラフを用いてリアルタイムでマップ変形を実行することで、ループクロージャー後のドリフトを補正し、グローバルな整合性を確保する。
• RGB-Dカメラ、ステレオカメラ、モノクロナル深度予測ネットワークからの深度マップの融合をサポートし、センサータイプの柔軟性を実現する。
• 主な計算負荷をスーパーピクセル抽出およびサーフェル初期化に移譲することでランタイム効率を達成し、サーフェル融合自体は1フレームあたり6 ms未満で実行される。

実験結果

リサーチクエスチョン

• RQ1 CPU計算のみを用いて、都市規模の環境でリアルタイム性能とグローバルな整合性を達成できる密度の高いサーフェルマッピングシステムは構築可能か？
• RQ2 GPU加速なしで、モデルスケールが異なる場合でも、サーフェルベースマッピングがO(1)の融合時間を維持できるか？
• RQ3 スーパーピクセルに基づくサーフェル表現は、ステレオまたはモノクロナルカメラからの低品質な深度マップに対して耐性を向上させられるか？
• RQ4 ポーズグラフベースのサーフェル整理と変形は、大規模な再構成においてマップドリフトをどれほど効果的に補正できるか？
• RQ5 メモリおよびランタイム効率を維持しながら、RGB-D、ステレオ、モノクロナルの多様なセンサ入力に対してシームレスな再構成を実現できるか？

主な発見

• 本システムは、KITTIOdometryシーケンス00において、ステレオ深度マップとORB-SLAM2を用いて10 Hzのリアルタイム性能を達成し、1フレームあたりのサーフェル融合時間が6 ms未満であった。
• メモリ使用量は環境スケールに比例して増加するが、実行時間に依存せず、ループクロージャー時でもほぼ一定を保つ。これは、フレーム3000〜4000のKITTIIシーケンスで示されたサーフェルの再利用によるものである。
• モノクロナル深度予測を用いて都市規模のシーンを再構成に成功し、GPUなしでモノクロナル入力からのスケール整合性のある再構成を実現した最初のオンライン密度融合システムである。
• ループクロージャー後にリアルタイムでドリフトが効果的に補正され、交差する構造物（例：道路や車両）が変形後に再整合されていることが確認された。
• CHISELと比較して、繰り返し訪問時の細かい障害物の再構成が正確に可能であり、自律的で攻撃的なフライトに適したマップを提供する。
• スケーラビリティおよびメモリ効率において、既存の手法を上回り、GPUなしでもCPU上でリアルタイム性能を維持しながら、低品質な深度入力からの再構成をサポートする。