[論文レビュー] SurfelWarp: Efficient Non-Volumetric Single View Dynamic Reconstruction

Wei Gao, Russ Tedrake|arXiv (Cornell University)|Apr 30, 2019

Robotics and Sensor-Based Localization参考文献 23被引用数 5

ひとこと要約

本論文は、単一の深度カメラのみを用いて動的シーン再構築を実現するリアルタイムでボリュメトリックでないSLAMシステム、SurfelWarpを提案する。この手法はサーフェルに基づく幾何表現とGPGPUアクセceleratedグラフィックスパイプラインを活用し、ボリュメトリックデータ構造を用いずに非剛性変形を効率的に推定し、深度観測を融合することで、DynamicFusionなどの先行手法と比較して顕著な高速化とトポロジー変化およびトラッキング失敗に対するロバスト性を達成している。

ABSTRACT

We contribute a dense SLAM system that takes a live stream of depth images as input and reconstructs non-rigid deforming scenes in real time, without templates or prior models. In contrast to existing approaches, we do not maintain any volumetric data structures, such as truncated signed distance function (TSDF) fields or deformation fields, which are performance and memory intensive. Our system works with a flat point (surfel) based representation of geometry, which can be directly acquired from commodity depth sensors. Standard graphics pipelines and general purpose GPU (GPGPU) computing are leveraged for all central operations: i.e., nearest neighbor maintenance, non-rigid deformation field estimation and fusion of depth measurements. Our pipeline inherently avoids expensive volumetric operations such as marching cubes, volumetric fusion and dense deformation field update, leading to significantly improved performance. Furthermore, the explicit and flexible surfel based geometry representation enables efficient tackling of topology changes and tracking failures, which makes our reconstructions consistent with updated depth observations. Our system allows robots to maintain a scene description with non-rigidly deformed objects that potentially enables interactions with dynamic working environments.

研究の動機と目的

• 事前モデルやテンプレートが不要な単一の深度カメラからのリアルタイムで高密度な非剛性変形シーンの再構築を可能にすること。
• TSDFと変形場に依存するDynamicFusionのようなボリュメトリックSLAM手法の性能およびメモリ制限を克服すること。
• 明示的なサーフェル表現とモデルの再初期化により、トポロジー変化およびトラッキング失敗に対するロバスト性を向上させること。
• すべてのコア演算を標準的なグラフィックスパイプラインとGPGPUコンputingに依存することで、効率的でスケーラブルな再構築を達成すること。

提案手法

• コンsumer用深度センサから直接得られるフラットサーフェルアレイを用いてシーン幾何を表現し、ボリュメトリック表現を回避する。
• 最近傍探索の維持、非剛性変形場の推定、深度融合にGPGPUアクセceleratedグラフィックスパイプラインを用いる。
• DynamicFusionと類似したエネルギー項を持つ非剛性トラッカーを採用するが、ボリュメトリック中間表現を経由せず、直接サーフェル上で処理を行う。
• 誤ったサーフェルをクリーニングし、トラッキング失敗やトポロジー変化からの回復を可能にするモデル再初期化メカニズムを適用する。
• マーチィング・キューブス、TSDF融合、密な変形場更新などの高コストなボリュメトリック操作を排除する。
• 非剛性登録から導出されたワープフィールドを用いて、深度観測を直接サーフェルに統合することで、リアルタイム性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 ボリュメトリックでなくサーフェルに基づくアプローチは、事前モデルやテンプレートが不要な状態でリアルタイムの動的再構築を達成できるか？
• RQ2 ボリュメトリックデータ構造を排除することで、非剛性SLAMにおけるパフォーマンス、メモリ使用量、ロバスト性にどのような影響を与えるか？
• RQ3 サーフェルに基づく幾何表現は、動的再構築中のトポロジー変化およびトラッキング失敗を効果的に処理できるか？
• RQ4 標準的なグラフィックスパイプラインとGPGPUコンputingは、非剛性再構築におけるコアSLAM演算をどの程度高速化できるか？

主な発見

• SurfelWarpは、ボリュメトリック操作の排除によりDynamicFusionに比べ顕著な高速化を達成し、平均フレーム処理時間が短縮された。
• 本手法は圧縮変形を正しく解消し、開口から閉口へのトポロジー変化に対しても忠実な再構築を維持するが、DynamicFusion や VolumeDeform とは異なり、そのような変化に対し劣化を示さない。
• モデル再初期化により、トラッキング失敗や高速・斜め方向の動きからの回復が可能となり、困難なシーケンスにおけるロバスト性が向上した。
• サーフェルベースの表現により、幾何と運動の表現がコンパクト化され、ボリュメトリック手法と比較してメモリ使用量が削減された。
• 「upperbody」と「boxing」データセットにおける実験により、特に複雑な変形や障害の処理において優れたパフォーマンスとロバスト性が確認された。
• 本手法は単一のGPU上でリアルタイム動作を実現しており、オンラインロボットアプリケーションに適していることが示された。