[論文レビュー] InfiniTAM v3: A Framework for Large-Scale 3D Reconstruction with Loop Closure

Victor Adrian Prisacariu, Olaf Kähler+5 more|arXiv (Cornell University)|Aug 2, 2017

Robotics and Sensor-Based Localization参考文献 7被引用数 86

ひとこと要約

InfiniTAM v3 は、ハッシュベースのボクセルハッシュ、頑健なトラッキング、random ferns relocaliser、およびループ閉塞のためのグローバルに一貫したサブマップ最適化を用いた、スケーラブルな3D再構成フレームワークを提示します。

ABSTRACT

Volumetric models have become a popular representation for 3D scenes in recent years. One breakthrough leading to their popularity was KinectFusion, which focuses on 3D reconstruction using RGB-D sensors. However, monocular SLAM has since also been tackled with very similar approaches. Representing the reconstruction volumetrically as a TSDF leads to most of the simplicity and efficiency that can be achieved with GPU implementations of these systems. However, this representation is memory-intensive and limits applicability to small-scale reconstructions. Several avenues have been explored to overcome this. With the aim of summarizing them and providing for a fast, flexible 3D reconstruction pipeline, we propose a new, unifying framework called InfiniTAM. The idea is that steps like camera tracking, scene representation and integration of new data can easily be replaced and adapted to the user's needs. This report describes the technical implementation details of InfiniTAM v3, the third version of our InfiniTAM system. We have added various new features, as well as making numerous enhancements to the low-level code that significantly improve our camera tracking performance. The new features that we expect to be of most interest are (i) a robust camera tracking module; (ii) an implementation of Glocker et al.'s keyframe-based random ferns camera relocaliser; (iii) a novel approach to globally-consistent TSDF-based reconstruction, based on dividing the scene into rigid submaps and optimising the relative poses between them; and (iv) an implementation of Keller et al.'s surfel-based reconstruction approach.

研究の動機と目的

• KinectFusion-style 3D reconstruction を large-scale environments に拡張するためのハッシュベース体積表現の利用。
• カメラ追跡の頑健性を向上させ、追跡失敗時のリロカライゼーションを含める。
• サブマップとサブマップ間の制約最適化を通じて、 globally consistent reconstruction を実現する。
• 同じフレームワーク内で surfel-based reconstruction をオプションの代替として提供する。

提案手法

• ハ voxel blocks を global voxel block array にマッピングするハッシュテーブルを使用し、 scalable な3D表現を実現。
• 抽象、デバイス固有、デバイス非依存のレイヤを統合した cross-device エンジンアーキテクチャを組み込み、モジュール性と性能を向上。
• 1フレームあたりの処理を6段階（tracking, allocation, swapping in, integration, raycasting, and swapping out）で実装。
• ITMDepthTracker、ITMColorTracker、ITMExtendedTracker を用いて追跡を強化し、RGB-D およびフォトメトリック項を含める。
• カメラポーズのリロカライゼーションとループ閉塞検出を可能にする random ferns relocaliser を導入。
• サブマップとサブマップ間の制約最適化（multi-engine pipeline）を通じて globally-consistent reconstruction を提供する。

実験結果

リサーチクエスチョン

• RQ1 InfiniTAM は voxel hashing を用いて KinectFusion-style 再構成を大規模なシーンへどう拡張できるか。
• RQ2 追跡を頑健にし、追跡失敗時にリロカライゼーションを可能にするにはどうするべきか。
• RQ3 大規模再構成でループ閉塞を検出し、全球一貫性をどう達成するか。
• RQ4 単一のフレームワーク内で TSDF-based と surfel-based 表現のトレードオフは何か。
• RQ5 CPU、GPU、その他の加速器間で性能を最適化するために cross-device アーキテクチャをどう組織するべきか。

主な発見

• 堅牢な追跡モジュールが開発・統合され、追跡失敗後に姿勢を回復するためのリロカライザが導入された。
• サブマップとサブマップ間の制約最適化に基づく globally-consistent reconstruction アプローチを導入。
• Surfel-based reconstruction を TSDFs のオプション代替として InfiniTAM v3 内で実装。
• ハッシュテーブルベースのボクセルハッシュは large scenes へスケールしつつ、活性マップを swapping によってデバイスメモリ内に保持。
• random ferns relocaliser を実装し、全球一貫性のためのリロカライゼーションとループ閉塞検出を可能に。