[論文レビュー] CurveFusion: Reconstructing Thin Structures from RGBD Sequences

Lingjie Liu, Nenglun Chen+4 more|arXiv (Cornell University)|Jul 12, 2021

Robotics and Sensor-Based Localization参考文献 48被引用数 14

ひとこと要約

CurveFusion は、ハンズオンRGBDシーケンスからの細線状構造の高精細3D再構成を実現する新規手法であり、データ駆動型の曲線スケルトンを融合プリミティブとして用いる。隣接する深度フレームをバンドルにグループ化し、各バンドルごとにL1軸を抽出・繰り返しマージすることで、従来のボクセルベースの融合手法がノイズや欠損データのため失敗するような細線構造においてもインタラクティブレートでの再構成を達成する。

ABSTRACT

We introduce CurveFusion, the first approach for high quality scanning of thin structures at interactive rates using a handheld RGBD camera. Thin filament-like structures are mathematically just 1D curves embedded in R^3, and integration-based reconstruction works best when depth sequences (from the thin structure parts) are fused using the object's (unknown) curve skeleton. Thus, using the complementary but noisy color and depth channels, CurveFusion first automatically identifies point samples on potential thin structures and groups them into bundles, each being a group of a fixed number of aligned consecutive frames. Then, the algorithm extracts per-bundle skeleton curves using L1 axes, and aligns and iteratively merges the L1 segments from all the bundles to form the final complete curve skeleton. Thus, unlike previous methods, reconstruction happens via integration along a data-dependent fusion primitive, i.e., the extracted curve skeleton. We extensively evaluate CurveFusion on a range of challenging examples, different scanner and calibration settings, and present high fidelity thin structure reconstructions previously just not possible from raw RGBD sequences.

研究の動機と目的

• ノイズが多く、低解像度なRGBDスキャンから細線状構造（例：ワイヤ、糸）を再構成する課題に取り組むこと。標準のボリュームメッシュ融合手法では、このような構造がうまく捉えられない。
• 表面再構成のためではなく、信頼性の高いスケルトン抽出と検証のため、深度とRGBデータを活用する再構成パイプラインを開発すること。
• 固定された融合プリミティブ（例：ボクセルグリッド）に代えて、細線構造の接続性と幾何をよりよく表現できる、データに依存する融合プリミティブ（曲線スケルトン）を導入すること。
• 従来のRGBDカメラと既存の融合技術では達成できなかった複雑な細線構造の高品質でインタラクティブレートの再構成を実現すること。

提案手法

• RGBDシーケンスを固定長の連続フレームバンドルに分割することで、ノイズやドリフトに対する耐性を高める。
• 各バンドルに対して、深度とRGBの両方の手がかりを組み合わせて、細線構造に属すると考えられる点を特定・セグメンテーションし、統合された点集合（「バンドル差分集合」）を形成する。
• 各バンドルの点集合に対してL1軸（L1中央線）を計算し、外れ値に敏感でない局所スケルトンセグメントを抽出する。
• グローバル最適化フレームワークを用いて、すべてのバンドルからのスケルトンセグメントを整列・繰り返しマージし、完全で連続的な曲線スケルトンを構築する。
• 最終的な再構成は、抽出されたスケルトンに沿って深度データを融合することで生成され、固定されたボクセルグリッドではなく、スケルトンをデータ依存の融合プリミティブとして用いる。
• RGB情報は、初期の検証とセグメンテーションのためのものであり、深度のアップスケーリングや表面の再構築には使用しない。

実験結果

リサーチクエスチョン

• RQ1 データに依存する融合プリミティブ（例：曲線スケルトン）が、ノイズの多いRGBDシーケンスからの細線構造再構成において、固定プリミティブ（例：ボクセルグリッド）を上回る性能を発揮できるか？
• RQ2 ノイズが多く不完全な深度点集合から、細線構造のスケルトンセグメントを安定的に抽出するため、L1軸計算を効果的に適用できるか？
• RQ3 連続するフレームをバンドル化することで、センサのノイズやカメラのドリフトが生じる状況下でも、スケルトン抽出の耐性が向上するか？
• RQ4 深度のアップスケーリングや画像ベースの表面再構築に依存せずに、RGB情報が細線構造の検出をどの程度支援できるか？
• RQ5 提案手法が、従来のボリュームメッシュ融合では失敗する複雑な細線構造について、高品質でインタラクティブレートの再構成を達成できるか？

主な発見

• CurveFusion は、直径が4 mm未満の細線構造を高精細に再構成でき、KinectFusion や BundleFusion といった標準手法が完全に無視または歪曲してしまうような特徴に対しても、良好な性能を発揮する。
• 複雑なシーンでは再構成時間を200秒未満に短縮し、一部の例では60秒未塔で完了するなど、インタラクティブレートでの動作を実現する。
• 再構成されたワイヤの厚さ推定値は、実測値と非常に近く、テストケース全体で4.5 mmから5.8 mmの範囲に収まっており、高い一貫性を示す。
• バンドルベース処理とL1軸抽出の導入により、個々のフレーム処理や全シーケンスにわたるグローバルL1軸処理と比較して、スケルトンの安定性と完全性が顕著に向上する。
• 接続部や曲がりくねった構造を有する困難なシーンにおいても、ボリュームメッシュ融合が接続性の欠如とノイズのため失敗する状況で、本手法はベースライン手法を上回る性能を発揮する。
• 限界として、直径約2 mm未満の構造では失敗し、高次数の接合部では不完全なマージが生じるため、セグメンテーションと半径推定の改善の余地がある。