[論文レビュー] MID-Fusion: Octree-based Object-Level Multi-Instance Dynamic SLAM

Binbin Xu, Wenbin Li+4 more|arXiv (Cornell University)|Dec 19, 2018

Robotics and Sensor-Based Localization参考文献 22被引用数 14

ひとこと要約

本論文では、オクトリーベースの表現を用いてオブジェクトレベルの動的ボリュメトリックマップを構築する最初のRGB-D SLAMシステム、MID-Fusionを提案する。色、深度、セマンティクスのマルチモーダルデータをインスタンスセグメンテーション、不確実性を考慮したトラッキング、確率的融合を通じて個々のオブジェクトモデルに統合することで、ロバストなカメラトラッキングと複数の移動物体の幾何、セマンティクス、運動の継続的推定を可能にし、CPU上で2–3 Hzで高い再構成精度を達成する。

ABSTRACT

We propose a new multi-instance dynamic RGB-D SLAM system using an object-level octree-based volumetric representation. It can provide robust camera tracking in dynamic environments and at the same time, continuously estimate geometric, semantic, and motion properties for arbitrary objects in the scene. For each incoming frame, we perform instance segmentation to detect objects and refine mask boundaries using geometric and motion information. Meanwhile, we estimate the pose of each existing moving object using an object-oriented tracking method and robustly track the camera pose against the static scene. Based on the estimated camera pose and object poses, we associate segmented masks with existing models and incrementally fuse corresponding colour, depth, semantic, and foreground object probabilities into each object model. In contrast to existing approaches, our system is the first system to generate an object-level dynamic volumetric map from a single RGB-D camera, which can be used directly for robotic tasks. Our method can run at 2-3 Hz on a CPU, excluding the instance segmentation part. We demonstrate its effectiveness by quantitatively and qualitatively testing it on both synthetic and real-world sequences.

研究の動機と目的

• 動的インDoor環境における静的SLAMの限界、特に移動物体がカメラポーズ推定を損なう問題に対処すること。
• 正確なカメラトラッキングを維持しながら、移動物体を個別のボリュメトリックエンティティとしてモデル化するマルチインスタンス動的SLAMシステムの開発。
• 単一のRGB-Dカメラを用いて、幾何、セマンティクス、運動特性を併せ持つ高精細なオブジェクトレベル再構成を実現すること。
• 個々のオブジェクトにオクトリーベースのボリュメトリック構造を採用することで、ロボティクスにおけるメモリ効率とマップの使いやすさを向上させること。
• 確率的統合を通じて、セマンティクス予測とフォアグラウンド確率をオブジェクトモデルに統合・最適化すること。

提案手法

• リアルタイムで幾何的および運動的ヒントを用いたインスタンスセグメンテーションにより、オブジェクトマスクを検出・精緻化する。
• オブジェクトの運動に再パrametrizedされたオブジェクト指向トラッキングを実装し、観測の不確実性を重みとして用いる。
• カメラポーズは静的シーンモデルに対して推定されるが、オブジェクトポーズは独立してトラッキングされ、ドリフトを回避する。
• 検出された各オブジェクトには、色、深度、セマンティクスラベル、フォアグラウンド確率を段階的に統合するオクトリーベースのボリュメトリックモデルが割り当てられる。
• 確率的統合により、セマンティクス分布とオブジェクト尤度がオクトリーブ構造に統合され、不確実性を考慮したモデル更新が可能になる。
• 各オブジェクトに対して別々で、互いに干渉しないボリュメトリックマップが維持され、ロバストなマルチインスタンスマッピングが実現される。

実験結果

リサーチクエスチョン

• RQ1 単一のRGB-Dカメラが、動的インDoorシーンにおける正確なカメラトラッキングを支援する持続的でオブジェクトレベルの動的ボリュメトリックマップを生成できるか？
• RQ2 幾何、光度、セマンティクス情報はどのように効果的に統合され、インスタンスセグメンテーションおよびオブジェクトモデル品質を向上させられるか？
• RQ3 不確実性重み付きのオブジェクトセントリックトラッキングは、大規模なオブジェクト運動を扱う際、仮想カメラや標準トラッキングに比べてどの程度優れているか？
• RQ4 オクトリーベース表現は、動的SLAMにおいて高い再構成忠実度を維持しながら、メモリ効率を確保できるか？
• RQ5 セマンティクスおよびフォアグラウンド確率の統合は、オブジェクトモデリングのロバスト性と正確性をどの程度向上させるか？

主な発見

• 真値セグメンテーションを用いた場合、ソファの平均再構成誤差は0.46 cm（±0.59）であり、チェアは0.92 cm（±1.74）に留まり、高い幾何的正確性を示す。
• 自らのセグメンテーションパイプラインを用いても、再構成誤差はわずかに増加する（ソファで0.46 cmに留まる）ことから、セグメンテーション誤差に対して高いロバスト性を示す。
• 提案されたオブジェクト指向トラッキング法により、仮想カメラトラッキングと比較して再構成誤差が38%低減（ソファで0.74 cm vs. 0.46 cm）され、特に大規模な回転の下でも顕著に優れる。
• CPU上で2–3 Hzで動作し、平均フレーム処理時間は400 msであり、表示および移動オブジェクトの数に応じて効率的にスケーリングされる。
• オクトリーベ構造により、高解像度再構成を維持しながらも効率的なメモリ使用が可能であり、Co-Fusionのようなサーフェルベースシステムに比べて詳細さとオブジェクト分離性で優れる。
• 定性的な結果では、6つ以上のオブジェクトを同時に正確に再構成でき、オブジェクトモデル間の衝突は発生せず、最先端のサーフェルベース手法に比べて優れた詳細度を示している。