[論文レビュー] An Efficient Volumetric Mesh Representation for Real-time Scene Reconstruction using Spatial Hashing

Wei Dong, Jieqi Shi+3 more|arXiv (Cornell University)|Mar 11, 2018

Robotics and Sensor-Based Localization参考文献 13被引用数 5

ひとこと要約

本稿では、空間ハッシュ化に基づくボリュームメッシュ表現を提案し、メモリ使用量をコンパクトに抑え、O(1)の頂点アクセスを実現することで、効率的でリアルタイムなシーン再構築を可能にする。頂点をボクセルの辺上に埋め込み、ハミング距離を用いた低コストなメッシュ精錬により、最大80%のメモリ消費削減を達成しながら、リアルタイム性能を維持し、三角形の形状一貫性を向上させる。

ABSTRACT

Mesh plays an indispensable role in dense real-time reconstruction essential in robotics. Efforts have been made to maintain flexible data structures for 3D data fusion, yet an efficient incremental framework specifically designed for online mesh storage and manipulation is missing. We propose a novel framework to compactly generate, update, and refine mesh for scene reconstruction upon a volumetric representation. Maintaining a spatial-hashed field of cubes, we distribute vertices with continuous value on discrete edges that support O(1) vertex accessing and forbid memory redundancy. By introducing Hamming distance in mesh refinement, we further improve the mesh quality regarding the triangle type consistency with a low cost. Lock-based and lock-free operations were applied to avoid thread conflicts in GPU parallel computation. Experiments demonstrate that the mesh memory consumption is significantly reduced while the running speed is kept in the online reconstruction process.

研究の動機と目的

• オンラインボリュームメッシュ再構築のための、効率的な段階的メッシュ保存および操作フレームワークの不足に対処する。
• ボクセルの辺と頂点の1対1マッピングにより、重複する頂点を排除することで、メッシュ表現におけるメモリの冗長性を低減する。
• GPUアクセラレートされた空間ハッシュ化とロックフリー操作を用いて、並列でリアルタイムのメッシュ生成と更新を可能にする。
• ハミング距離に基づく低コストな精錬技術を導入することで、メッシュ品質を向上させ、三角形の形状一貫性を向上させる。
• 既存のボリューム融合技術とシームレスに統合し、エンドツーエンドの再構築を可能にするメッシュパイプラインを実現する。

提案手法

• ボクセル（立方体）の空間的ハッシュ化された3次元グリッドを用い、メッシュ頂点を直接ボクセルの辺上にインデックス化・保存することで、1対1の対応関係を保証し、頂点の重複を排除する。
• 空間ハッシュ化によりO(1)の頂点アクセスを実装し、段階的再構築中の高速な照会と更新を可能にする。
• GPUカーネル内でロックフリーおよびロックベースの操作を適用し、並列メッシュ生成および更新中のスレッド競合を防止する。
• ハミング距離を用いて局所的な三角形トポロジーを正規化するメッシュ精錬アルゴリズムを導入し、不規則な形状やメッシュの亀裂を低減する。
• 頂点のメモリ内ライフタイムを追跡することで、頂点の時間的整合性を維持し、色の持続時間マップとして可視化する。
• 既存のTSDFベースのボリューム融合技術とメッシュパイプラインを統合し、オンラインでのメッシュ抽出とガベージコレクションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 リアルタイム再構築を可能にし、メモリの冗長性を最小限に抑える、コンパクトで段階的なメッシュ表現をどのように設計できるか？
• RQ2 空間ハッシュ化は、メッシュ生成における効率的なGPU並列処理を維持しつつ、O(1)の頂点アクセスを可能にするか？
• RQ3 ハミング距離に基づくメッシュ精錬の影響は、三角形の形状一貫性および視覚的品質にどのように現れるか？
• RQ4 本手法は、ベースラインメッシュ生成と比較して、メモリ使用量および実行時間性能においてどのように異なるか？
• RQ5 メッシュ表現は時間的整合性を保持でき、ノイズの多いセンサデータ下でも、信頼性の高いオンライン再構築をサポートできるか？

主な発見

• 提案手法は、ベースライン手法と比較して、最大80%のメッシュメモリ消費量削減を達成した。実世界のシーケンスでは、頂点数が約58万から約10万に低下した。
• Zhou/copyroomデータセット（3cm解像度）において、1フレームあたりのメッシュ生成時間は、本手法が3.71ms（Ours）で、ベースラインが4.85ms（Baseline）であった。
• 精錬ステップにより、『亀裂』や不規則な三角形といった視覚的アーティファクトが顕著に低減され、シミュレーテッド（office1）および実世界（copyroom）の両データセットで確認された。
• 本手法は、高解像度および長時間のシーケンスにおいても、全データセットで平均フレーム時間が13ms未満を維持し、リアルタイム性能を確保した。
• 頂点の時間的整合性が効果的に可視化されており、長期間にわたって存在する頂点（暖色）は、安定した表面特徴を示している。
• フレームワークは、オンラインでのメッシュ抽出およびガベージコレクションをサポートしており、ボリューム融合パイプラインへのシームレスな統合を可能にした。