[論文レビュー] CAP-UDF: Learning Unsigned Distance Functions Progressively from Raw Point Clouds with Consistency-Aware Field Optimization

Junsheng Zhou, Baorui Ma+4 more|arXiv (Cornell University)|Oct 6, 2022

3D Shape Modeling and Analysis被引用数 28

ひとこと要約

CAP-UDF は raw point clouds から連続的な unsigned distance function を、表面へ向かうクエリを一貫性を意識した場の損失の下で移動させることにより学習し、 ground-truth distances がなくても勾配場から直接表面を抽出できるようにする。これにより表面を順次細化し、合成データと実測スキャンで最先端の結果を示す。

ABSTRACT

Surface reconstruction for point clouds is an important task in 3D computer vision. Most of the latest methods resolve this problem by learning signed distance functions from point clouds, which are limited to reconstructing closed surfaces. Some other methods tried to represent open surfaces using unsigned distance functions (UDF) which are learned from ground truth distances. However, the learned UDF is hard to provide smooth distance fields due to the discontinuous character of point clouds. In this paper, we propose CAP-UDF, a novel method to learn consistency-aware UDF from raw point clouds. We achieve this by learning to move queries onto the surface with a field consistency constraint, where we also enable to progressively estimate a more accurate surface. Specifically, we train a neural network to gradually infer the relationship between queries and the approximated surface by searching for the moving target of queries in a dynamic way. Meanwhile, we introduce a polygonization algorithm to extract surfaces using the gradients of the learned UDF. We conduct comprehensive experiments in surface reconstruction for point clouds, real scans or depth maps, and further explore our performance in unsupervised point normal estimation, which demonstrate non-trivial improvements of CAP-UDF over the state-of-the-art methods.

研究の動機と目的

• raw point clouds から表面再構成を動機づけるために ground-truth distances や大規模な学習データを必要とせず。
• 表面へ向かうクエリを導く一貫性を意識した unsigned distance function (UDF) を導入する。
• 段階的に表面を近似して精度を高める progressive surface approximation 戦略を提案する。
• 学習済み UDF の勾配場から直接表面を抽出する表面抽出法を開発する。
• 合成形状、実測スキャン、およびシーンで最先端の再構成精度を示す。

提案手法

• 3D クエリ q に対して unsigned distance f(q) を MLP ネットワークで予測する。
• 各クエリ q を f(q) によるストライドで正規化勾配の負の方向に一歩移動させる。
• 進化する点集合における最も近い表面点と移動後のクエリ z をチェンファー距離で比較する、一貫性を意識した損失で訓練する。
• 移動後のクエリで参照点集合を段階的に更新し、次の段階で局所幾何を精緻化する。
• 適応型勾配ベースのマーチングキューブ風手順により、勾配場から直接表面を抽出する。
• 局所的な UDF 値を用いて学習済み距離場に沿って頂点位置を調整することで初期メッシュを任意に refine する。

実験結果

リサーチクエスチョン

• RQ1 ground-truth distances なしに raw point clouds から直接学習した UDF は、表面近傍で滑らかな距離場を生み出せるか。
• RQ2 離散的な点群から UDF を学習する際に、一貫性を意識した損失は訓練を安定化し、場の歪みを防ぐか。
• RQ3 BPA ベースの後処理を用いずに、開放的/トポロジー豊かな構造を持つ表面を、学習済み UDF の勾配場から直接抽出できるか。
• RQ4 段階的な表面近似は、単一段階の学習と比較してディテールの捉えと収束を改善するか。
• RQ5 CAP-UDF は、合成データおよび実測スキャンデータにおいて、最先端の unsigned distance アプローチと比較してどうか。

主な発見

• CAP-UDF は ground-truth distances や大規模な学習データを必要とせず、raw point clouds から連続的な unsigned distance field を達成する。
• 一貫性を意識した場の損失は、相反する最適化方向を緩和し、表面近傍場をより正確で滑らかにする。
• 移動クエリを priors とした段階的な進行は、反復を通じて局所的なディテールと表面忠実度を向上させる。
• 学習済み UDF からの直接的な勾配ベースの表面抽出は、任意のトポロジーを持つ高品質な表面を生み出し、BPA を回避する。
• ShapeNet の cars（合成）、MGD 実スキャン、SRB 実スキャン、OnSurf シーンベンチマークで、複数の指標において最先端の性能を示す実証結果。
• アブレーション研究は、一貫性損失、段階的な段階、および表面抽出手法の有効性を確認する。