[論文レビュー] Deep-SLAM++: Object-level RGBD SLAM based on class-specific deep shape priors

Lan Hu, Wanting Xu+2 more|arXiv (Cornell University)|Jul 23, 2019

Robotics and Sensor-Based Localization参考文献 31被引用数 12

ひとこと要約

Deep-SLAM++ は、ニューラルネットワークから得られるクラス固有の深層形状事前知識とオンライン深度測定値を統合することで、未知の屋内環境において完全で意味的にアノテートされた3次元オブジェクトモデルを生成する、新しいRGBD SLAMシステムを提案する。深度測定値の整合性に基づいて最適な形状事前知識を選択する離散的選択戦略を用いることで、従来の統合手法と比較して、マップの完全性と測定ノイズに対するロバスト性が向上する。

ABSTRACT

In an effort to increase the capabilities of SLAM systems and produce object-level representations, the community increasingly investigates the imposition of higher-level priors into the estimation process. One such example is given by employing object detectors to load and register full CAD models. Our work extends this idea to environments with unknown objects and imposes object priors by employing modern class-specific neural networks to generate complete model geometry proposals. The difficulty of using such predictions in a real SLAM scenario is that the prediction performance depends on the view-point and measurement quality, with even small changes of the input data sometimes leading to a large variability in the network output. We propose a discrete selection strategy that finds the best among multiple proposals from different registered views by re-enforcing the agreement with the online depth measurements. The result is an effective object-level RGBD SLAM system that produces compact, high-fidelity, and dense 3D maps with semantic annotations. It outperforms traditional fusion strategies in terms of map completeness and resilience against degrading measurement quality.

研究の動機と目的

• 未知の屋内環境において、オブジェクトレベルで意味的にアノテートされた3次元マップを生成する包括的なRGBD SLAMシステムの開発。
• 視点や測定品質のばらつきによる深層ニューラルネットワークの形状予測性能の変動という課題への対処。
• 学習済みの形状事前知識とリアルタイムの深度測定値を統合し、再構成の完全性とロバスト性を向上させること。
• 選択的モデル選択によって、高精度なオブジェクトジオメトリを維持しつつメモリ容量を削減すること。

提案手法

• フロントエンドは、RGBDデータを用いて相対的なカメラポーズを推定し、オブジェクトを検出・分類し、地面をフィットさせる。
• クラス固有の深層ニューラルネットワークが、検出されたオブジェクトのカテゴリに応じて3次元形状の候補を生成する。
• 離散的選択メカニズムが、複数の視点からの複数の形状候補を評価し、オンライン深度測定値との整合性が最も高いものを選択する。
• バックエンドは、グラフベースの最適化を実行し、カメラおよびオブジェクトの絶対ポーズを精緻化するとともに、ループクロージャ検出を実施する。
• オブジェクトモデルは、後続の視点からのより適合する形状候補に置き換えることで、段階的に改善される。
• モデル品質および改善度の定量的評価に、交差領域率（IoU）とチャムファーディスタンス（CD）を用いる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークから得られる形状事前知識を、未知環境における完全な3次元オブジェクトモデルの再構成にRGBD SLAMパイプラインに効果的に統合できるか？
• RQ2 リアルタイムSLAM推定の過程で、整合性のないまたは低品質なニューラルネットワーク予測をどのように緩和できるか？
• RQ3 学習済みの事前知識とオンライン深度測定値を組み合わせることで、純粋な測定値統合と比較して、マップの完全性とロバスト性がどの程度向上するか？
• RQ4 測定整合性に基づく離散的選択戦略が、複数の候補の中から最適な形状事前知識を信頼性高く特定できるか？

主な発見

• 改善されたモデルは、初期モデルと比較して平均交差領域率（IoU）が37.2%向上し、0.2068から0.2837に上昇した。
• チャムファーディスタンス（CD）誤差は、0.0947から0.0812に14.2%低下し、基準形状との幾何的整合性が向上したことを示している。
• システムは深度測定値の摂動に対してロバストであり、生の統合測定値と比較して、ネットワーク生成モデルがアライメントのぼやけを低減した。
• 複数の視点における段階的モデル精錬により、オブジェクトジオメトリが一貫して向上したことが、繰り返し出現する椅子の例（図11）で示された。
• ループクロージャが、蓄積されたドリフトを正しく補正しており、赤い椅子のアライメントが修正され、最終マップにおける一貫性のあるオブジェクトラベル付けが確認された。