[論文レビュー] Fusion++: Volumetric Object-Level SLAM

John McCormac, Ronald Clark+3 more|arXiv (Cornell University)|Aug 25, 2018

Robotics and Sensor-Based Localization参考文献 38被引用数 15

ひとこと要約

Fusion++ は、サイズに応じた解像度を有する個別オブジェクトの截頭体符号距離関数（TSDF）と3Dフォアグラウンドマスクを用いて、継続的かつグローバルに一貫性のある3次元マップを構築するオンラインでオブジェクトレベルのSLAMシステムを提案する。オブジェクトインスタンスのポーズグラフを維持することで、インtra-オブジェクトの歪みを回避し、ループクロージャを実現し、複雑なインDoorシーンにおける高精度な再構築とメモリ効率を達成している。実時間性能（4–8 Hz）を実現している。

ABSTRACT

We propose an online object-level SLAM system which builds a persistent and accurate 3D graph map of arbitrary reconstructed objects. As an RGB-D camera browses a cluttered indoor scene, Mask-RCNN instance segmentations are used to initialise compact per-object Truncated Signed Distance Function (TSDF) reconstructions with object size-dependent resolutions and a novel 3D foreground mask. Reconstructed objects are stored in an optimisable 6DoF pose graph which is our only persistent map representation. Objects are incrementally refined via depth fusion, and are used for tracking, relocalisation and loop closure detection. Loop closures cause adjustments in the relative pose estimates of object instances, but no intra-object warping. Each object also carries semantic information which is refined over time and an existence probability to account for spurious instance predictions. We demonstrate our approach on a hand-held RGB-D sequence from a cluttered office scene with a large number and variety of object instances, highlighting how the system closes loops and makes good use of existing objects on repeated loops. We quantitatively evaluate the trajectory error of our system against a baseline approach on the RGB-D SLAM benchmark, and qualitatively compare reconstruction quality of discovered objects on the YCB video dataset. Performance evaluation shows our approach is highly memory efficient and runs online at 4-8Hz (excluding relocalisation) despite not being optimised at the software level.

研究の動機と目的

• 密度の高いシーン幾何学ではなく、個々のオブジェクトの再構築とトラッキングに焦点を当てたオンラインで継続的な3次元SLAMシステムの開発。
• 複雑なインドアシーンにおいて、事前に未知の任意のオブジェクトインスタンスの正確でグローバルに一貫性のある3次元再構築を維持する課題への対処。
• 1つの大きなTSDFボリュームではなく、サイズに応じた解像度を持つコンactな個別オブジェクトTSDFボリュームを用いることで、メモリ効率とスケーラビリティの向上。
• オブジェクトインスタンスのポーズグラフを用いて、トラッキング、再ロケーション、ループクロージャを強力に実現し、個別オブジェクトの幾何学的歪みを回避すること。

提案手法

• オブジェクトサイズに応じた解像度で、個別オブジェクトTSDF再構築を初期化するためにリアルタイム2次元インスタンスセグメンテーションにMask R-CNNを適用。
• 新規に開発された3次元ボクセルマスクを用いて、検出されたインスタンスのフォアグラウンドのみをTSDFに融合し、背景の融合に起因するノイズを低減するとともに、再構築の忠実性を向上。
• ポーズグラフとしてのオブジェクトインスタンスの6DoFの永続的ポーズグラフを唯一のマップ表現として維持し、ループクロージャによるグローバルな一貫性を実現。
• TSDF融合を段階的に深めることで深度データを統合し、時間経過とともにオブジェクト幾何学を精緻化するとともに、セマンティックラベルと存在確率を保持。
• トラッキングと隠蔽モデル化のために、永続的オブジェクトマップとは分離された一時的なローカルTSDFを別途用意し、分離を実現。
• 誤検出を処理するための各オブジェクトごとの存在確率と、時間経過に伴う誤検出（フォールスポジティブ）の管理のための削除メカニズムを採用。

実験結果

リサーチクエスチョン

• RQ1 RGB-D入力のみを用いて、複雑なインドア環境における任意で未知のオブジェクトインスタンスの高精度でセマンティックラベルが付与された3次元再構築を維持できるか？
• RQ2 オブジェクトレベルのSLAMは、個々のオブジェクト再構築を歪ませることなく、どのようにグローバル一貫性とループクロージャを達成できるか？
• RQ3 1つの高密度TSDFではなく、個別オブジェクトに可変解像度のTSDFを用いる場合、メモリ効率と再構築品質のトレードオフはどのように変化するか？
• RQ4 長時間にわたるシーケンスにおいて、検出エラーと誤ったインスタンス予測はどのように処理されるか？
• RQ5 オブジェクトインスタンス数の増加に伴い、実行時間とメモリ使用量の点で効率的にスケーリングできるか？

主な発見

• Fusion++ は、105個のオブジェクトを含む複雑なオフィスシーケンスにおいて、再ロケーションやグラフ最適化を除いて4–8 Hzのフレームレートを達成し、リアルタイム実現可能性を示している。
• RGB-D SLAMベンチマークにおいて、Fusion++ はベースラインTSDFオドメトリと比較して、fr2_deskシーケンスの絶対軌道誤差（ATE RMSE）を最大66％低減（0.342 m → 0.114 m）。
• 105個のオブジェクトに対してGPUメモリをたった377 MBで使用し、1オブジェクトあたり平均して約4 MBと、個別でサイズに応じたTSDFのおかげで高いメモリ効率を達成。
• オブジェクト再構築はベースライン手法に比べて質的に優れており、明確なフォアグラウンドの詳細が保持され、ポーズグラフにおけるずれも最小限に抑えられている。
• ポーズグラフ最適化により、個別オブジェクト幾何学の歪みを伴わずに、オブジェクトインスタンス間の相対ポーズを正常に調整し、ループクロージャが成功している。
• オブジェクト数の増加に伴い、平均して1つの可視オブジェクトあたり約1msの計算時間増加に抑えられ、実行時間のコンponentは線形スケーリングを示している。