[論文レビュー] Robust Keyframe-based Dense SLAM with an RGB-D Camera

Haomin Liu, Chen Li+4 more|arXiv (Cornell University)|Nov 14, 2017

Robotics and Sensor-Based Localization参考文献 39被引用数 14

ひとこと要約

RKD-SLAM は、1つの CPU でリアルタイムかつドリフトのない 3D 再構成を実現する、RGB-D カメラ向けの頑健でキーフレームベースの高密度 SLAM システムであり、高精度なトラッキングとオンラインでの表面補正を可能にします。高速なトラッキングのためのカラー・ディープス融合、計算効率の良い最適化のための段階的バンドル調整、メモリの膨張を防ぐ長期間運用を可能にするキーフレームベースの深度融合を統合しています。

ABSTRACT

In this paper, we present RKD-SLAM, a robust keyframe-based dense SLAM approach for an RGB-D camera that can robustly handle fast motion and dense loop closure, and run without time limitation in a moderate size scene. It not only can be used to scan high-quality 3D models, but also can satisfy the demand of VR and AR applications. First, we combine color and depth information to construct a very fast keyframe-based tracking method on a CPU, which can work robustly in challenging cases (e.g.~fast camera motion and complex loops). For reducing accumulation error, we also introduce a very efficient incremental bundle adjustment (BA) algorithm, which can greatly save unnecessary computation and perform local and global BA in a unified optimization framework. An efficient keyframe-based depth representation and fusion method is proposed to generate and timely update the dense 3D surface with online correction according to the refined camera poses of keyframes through BA. The experimental results and comparisons on a variety of challenging datasets and TUM RGB-D benchmark demonstrate the effectiveness of the proposed system.

研究の動機と目的

• 高速な動き、ループクロージャー、ドリフトのない長期間運用の制限を克服すること。
• 複数の高機能 GPU や時間制限のある運用に依存せずに、1つの CPU でリアルタイムの高密度 SLAM を実現すること。
• オンラインでの高密度表面補正を可能にし、トラッキング誤差の蓄積を最小限に抑えるキーフレームベースのアプローチの開発。
• 最先端のシステムと同等の高精度な 3D 再構成を実現しながら、計算効率を維持すること。
• VR や AR 応用を支援するため、困難なシーンでも耐性があり、長時間の運用を可能にする。

提案手法

• 1つの CPU で高速かつ頑健なトラッキング（70–200 fps）を実現するキーフレームベースのトラッキング手法を提案。カラーと深度情報を統合して実現。
• 中間計算を再利用し、影響を受けるキーフレームのみを適応的に更新することで、冗長な計算を最小限に抑える段階的バンドル調整アルゴリズムを導入。
• 非キーフレームからの深度データをキーフレームに統合するキーフレームベースの深度表現を採用。冗長性を低減し、効率的なオンライン表面更新を可能に。
• 局所的およびグローバルなバンドル調整を統合最適化フレームワークで実行し、マップの正確性とドリフト補正を向上。
• バンドル調整による精密化されたカメラポーズに基づき、深度データの再統合と再統合を適用して、リアルタイムで高密度表面モデルを補正。
• 非キーフレームの深度マップをキーフレームに統合する階層的統合戦略を実装。ストレージと計算のオーバーヘッドを削減。

実験結果

リサーチクエスチョン

• RQ1 キーフレームベースの高密度 SLAM システムは、1つの CPU で高速な動作を維持しながら、困難なシーンでも高精度を達成できるか？
• RQ2 局所的およびグローバル最適化を両立しつつ、冗長な計算を最小限に抑える段階的バンドル調整はどのように設計できるか？
• RQ3 キーフレームベースの深度統合は、フレームごとの統合と同等の表面再構成精度を達成できるか？ また、メモリと計算負荷を低減できるか？
• RQ4 高速な動き、テクスチャのない領域、ループクロージャーに対し、システムは失敗せずに処理できるか？
• RQ5 キーフレーム統合によるオンライン表面補正は、ドリフトをどれほど低減し、長期間の再構成安定性を向上できるか？

主な発見

• ICL-NUIM データセットのキーフレームにおいて、RKD-SLAM は絶対軌道誤差（ATE）のRMSEが 1.8cm、1.6cm、3.2cm であり、テクスチャのない困難なシーンでも、大多数の最先端手法を上回る性能を示した。
• TUM RGB-D ベンチマークでは、ElasticFusion や BundleFusion などの先進的システムと同等の ATE の性能を達成し、より多くのシーンでトラッキングに成功した。
• ICL-NUIM データセットにおける表面再構成精度は 0.9cm、1.1cm、1.6cm（RMSE）であり、フレームごとの統合（0.8cm、1.3cm、1.8cm）と同等の精度を達成しており、キーフレームベース統合の有効性を示している。
• 高速な動きと複雑なループに対しても正常に処理でき、極めてテクスチャのない 'kt0' シーケンスでは 30.5% のフレームでトラッキングの失敗が発生したにとどまった。
• 段階的バンドル調整により、中間結果を再利用し、必要なキーフレームのみを更新することで、計算時間を顕著に短縮。長期間運用が可能になった。
• RKD-SLAM は、10分後に故障する BundleFusion とは異なり、ラップトップで時間制限なしに動作可能であり、VR/AR 応用に適した長時間運用が可能である。