[論文レビュー] A Framework for the Volumetric Integration of Depth Images

Victor Adrian Prisacariu, Olaf Kähler+6 more|arXiv (Cornell University)|Oct 3, 2014

Robotics and Sensor-Based Localization参考文献 10被引用数 27

ひとこと要約

本論文では、深度画像を用いたボリュメトリック3D再構築のための柔軟でポータブルなフレームワーク、InfiniTAMを提示する。このフレームワークは、GPUアクセラレーションを活用し、RGB-Dデータを切り捨てられた符号付き距離関数（TSDF）ボリュームに効率的に統合することを可能にする。GPUアクセラレートされたトラッキング、メモリ効率のためのボクセルブロックハッシュ化、およびオプションのGPU-CPU間データスワップをサポートしており、大規模なシーンのスケーラブルな再構築を実現しながらも、インタラクティブなパフォーマンスを維持する。

ABSTRACT

Volumetric models have become a popular representation for 3D scenes in recent years. One of the breakthroughs leading to their popularity was KinectFusion, where the focus is on 3D reconstruction using RGB-D sensors. However, monocular SLAM has since also been tackled with very similar approaches. Representing the reconstruction volumetrically as a truncated signed distance function leads to most of the simplicity and efficiency that can be achieved with GPU implementations of these systems. However, this representation is also memory-intensive and limits the applicability to small scale reconstructions. Several avenues have been explored for overcoming this limitation. With the aim of summarizing them and providing for a fast and flexible 3D reconstruction pipeline, we propose a new, unifying framework called InfiniTAM. The core idea is that individual steps like camera tracking, scene representation and integration of new data can easily be replaced and adapted to the needs of the user. Along with the framework we also provide a set of components for scalable reconstruction: two implementations of camera trackers, based on RGB data and on depth data, two representations of the 3D volumetric data, a dense volume and one based on hashes of subblocks, and an optional module for swapping subblocks in and out of the typically limited GPU memory.

研究の動機と目的

• 多様な再構築パイプラインをサポートする統合的かつ拡張可能なボリュメトリック統合フレームワークの開発。
• ボクセルブロックハッシュ化などの効率的なデータ構造とGPU-CPUメモリスワップを組み合わせることで、スケーラブルな3D再構築の実現。
• RGBおよび深度ベースのトラッキングをサポートするポータブルでモジュラーなシステムを提供し、さまざまなハードウェアや応用ニーズに適応可能にする。
• スパースなデータ構造と効率的なメモリ管理を用いることで、リアルタイムパフォーマンスを維持しながらボリュメトリック再構築におけるメモリオーバーヘッドを低減する。
• 最小限の依存関係とクロスプラットフォーム対応を実現した実装を提供し、オンラインおよびオフラインの再構築ワークフローを両方サポートする。

提案手法

• 状態が状態なしの処理エンジン（例：トラッキング、統合、レイキャスト）の間で渡されるチェーン・オブ・リスポンシビリティ設計パターンを採用する。
• 2種類のトラッキング手法をサポートする：RGB画像を用いたカラーベースのトラッキングと、深度画像を用いた深度ベースのICPトラッキング。
• ボリューメトリックデータは、密なTSDFボリュームまたはボクセルブロックハッシュ化のいずれかで表現される。ボクセルブロックハッシュ化は、3Dボリュームのスパースなサブブロックをインデックス化するハッシュテーブルを用いる。
• ボクセルブロックハッシュ化技術は、カスタムハッシュ関数を用い、サブブロックの動的割り当てと検索を可能にし、メモリ使用量を削減する。
• オプションのスワップエンジンは、GPUとホストメモリ間のデータ転送を管理し、固定最大転送回数を保証することでインタラクティブパフォーマンスを確保する。
• モジュラーなアーキテクチャにより、コアインfraを再利用しながら、トラッカー やシーン表現などのコンponentsを簡単に交換可能である。

実験結果

リサーチクエスチョン

• RQ1 3D再構築において、複数のトラッキングおよびボリュメトリック表現戦略をサポートする柔軟でモジュラーなフレームワークをどのように設計できるか？
• RQ2 リアルタイムパフォーマンスを損なわずに、ボリュメトリック再構築における効率的なメモリ使用を実現する技術は何か？
• RQ3 GPUとホストメモリ間でデータを効率的にスワップすることで、再構築可能なシーンのスケールをどのように拡張できるか？
• RQ4 3D再構築システムにおいて、クロスプラットフォーム展開と拡張性を実現するためのアーキテクチャ的選択肢は何か？
• RQ5 統合的フレームワークは、最小限の依存関係で小規模および大規模な3D再構築を両方サポートできるか？

主な発見

• InfiniTAMは、密なとスパースなボリュメトリック表現の両方を効果的にサポートし、広範なシーンスケールにわたる効率的な再構築を可能にする。
• ボクセルブロックハッシュ化の導入により、特に大規模なシーンにおいて、密なTSDFボリュームと比較して顕著にメモリ消費量が削減される。
• スワップエンジンにより、データをホストメモリにオフロードすることで、GPUメモリ制限を補いながらもインタラクティブパフォーマンスを維持できるスケーラブルな再構築が可能になる。
• フレームワークはポータブルであり、Linux、Mac OS、Windowsでネイティブコンパイル可能で、外部依存関係が最小限である。
• モジュラー設計により、トラッカー やシーン表現などのコンponentsの簡単な交換が可能であり、迅速なプロトタイピングや研究の拡張を促進する。
• システムは、OpenNIを介したリアルタイム入力と、画像ファイルからのオフライン処理の両方をサポートしており、広範な適用可能性を示している。