[論文レビュー] RangeUDF: Semantic Surface Reconstruction from 3D Point Clouds

Bing Wang, Zhengdi Yu+6 more|arXiv (Cornell University)|Apr 19, 2022

3D Shape Modeling and Analysis被引用数 9

ひとこと要約

RangeUDFは、疎で大規模な点群から高精度な3D表面を再構築し、同時に意味を予測する、新しい暗黙的ニューラル表現を提案する。範囲に配慮した符号なし距離関数と表面指向の意味モジュールを導入することで、表面の曖昧さを解消し、4つのデータセットで最先端の性能を達成し、未観測データに対しても優れた一般化性能を示す。

ABSTRACT

We present RangeUDF, a new implicit representation based framework to recover the geometry and semantics of continuous 3D scene surfaces from point clouds. Unlike occupancy fields or signed distance fields which can only model closed 3D surfaces, our approach is not restricted to any type of topology. Being different from the existing unsigned distance fields, our framework does not suffer from any surface ambiguity. In addition, our RangeUDF can jointly estimate precise semantics for continuous surfaces. The key to our approach is a range-aware unsigned distance function together with a surface-oriented semantic segmentation module. Extensive experiments show that RangeUDF clearly surpasses state-of-the-art approaches for surface reconstruction on four point cloud datasets. Moreover, RangeUDF demonstrates superior generalization capability across multiple unseen datasets, which is nearly impossible for all existing approaches.

研究の動機と目的

• 閉じた形状や多様体トポロジーを仮定しない既存の暗黙的表現（占有フィールドや符号付き距離関数）の限界を解消すること。
• 疎または密度が不均一な点群によって引き起こされる符号なし距離関数における表面の曖昧さを克服すること。
• 大規模で現実世界のシーンにおける連続的な表面に対して、正確な3D幾何と意味を同時に予測すること。
• 閉じた形状やボクセル化を必要とせず、生の点群からエンドツーエンドの学習を可能にすること。
• 微調整なしで未観測データセットに効果的に一般化できること、これは先行手法ではほとんど見られない特性である。

提案手法

• 1回の順伝播で大規模な点群を処理する各点特徴抽出器により、グローバルおよびローカルな幾何の効率的符号化が可能になる。
• 範囲に配慮したニューラル補間モジュールは、ベクトル (q - p_k) を用いた重み付き集約に基づき、照合点に対して一意な特徴ベクトルを計算することで、表面の曖昧さを低減する。
• 補間された特徴から符号なし距離関数が予測され、トポロジー制約なしに正確な幾何再構築が保証される。
• 表面指向の意味セグメンテーションモジュールは、学習中に照合点が表面から離れている場合でも、表面近接に注目することで意味を学習する。
• 不確実性重み付きのマルチタスク損失により、再構築と意味セグメンテーションのブランチがバランスされ、学習の安定性と性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 閉じた形状や多様体トポロジーを仮定しないニューラル暗黙的表現が、詳細な3D表面の再構築と意味の予測を同時に達成できるか？
• RQ2 疎で不均一な点群を扱う際、符号なし距離関数における表面の曖昧さをどのように解消できるか？
• RQ3 照合点が表面から離れている場合でも、暗黙的表現フレームワーク内で意味セグメンテーションを効果的に学習できるか？
• RQ4 幾何と意味の共同最適化が、特に低ショット意味ラベルの下で性能向上をもたらすか？
• RQ5 微調整なしで、先行手法とは異なり未観測データセットに効果的に一般化できるか？

主な発見

• RangeUDFは4つのベンチマークデータセットで最先端の性能を達成し、CD-L1スコアが0.298、FS-δが0.876に達し、先行手法を顕著に上回る。
• 1%の意味ラベルの下で、再構築とセグメンテーションを共同最適化することで、mIoUが最大0.018向上する。
• 除去実験では、範囲に配慮した項 (q - p_k) が不可欠であることが確認され、これを除くとCD-L1が0.026上昇し、曖昧さの解消におけるその重要性が示された。
• 照合点座標を直接意味ブランチに追加すると、mIoUが0.019低下し、表面指向設計の優位性が裏付けられた。
• 未観測データセットへの一般化が良好であり、複数のテストセットで一貫した性能向上が得られ、訓練ドメインを超えた頑健性が示された。