[論文レビュー] Neural-Pull: Learning Signed Distance Functions from Point Clouds by Learning to Pull Space onto Surfaces

Baorui Ma, Zhizhong Han+2 more|arXiv (Cornell University)|Nov 26, 2020

3D Shape Modeling and Analysis参考文献 63被引用数 47

ひとこと要約

Neural-Pullは、点群から符号付き距離値と勾配を予測するニューラルネットワークを訓練し、微分可能な pulling 操作を用いてクエリ点を表面上へ移動させる。これにより、表面再構成と単一画像再構成のための高品質なSDFを得られる。

ABSTRACT

Reconstructing continuous surfaces from 3D point clouds is a fundamental operation in 3D geometry processing. Several recent state-of-the-art methods address this problem using neural networks to learn signed distance functions (SDFs). In this paper, we introduce \textit{Neural-Pull}, a new approach that is simple and leads to high quality SDFs. Specifically, we train a neural network to pull query 3D locations to their closest points on the surface using the predicted signed distance values and the gradient at the query locations, both of which are computed by the network itself. The pulling operation moves each query location with a stride given by the distance predicted by the network. Based on the sign of the distance, this may move the query location along or against the direction of the gradient of the SDF. This is a differentiable operation that allows us to update the signed distance value and the gradient simultaneously during training. Our outperforming results under widely used benchmarks demonstrate that we can learn SDFs more accurately and flexibly for surface reconstruction and single image reconstruction than the state-of-the-art methods.

研究の動機と目的

• raw 3D point cloudsから ground-truth signed distances の supervisionなしに符号付き距離関数を直接学習するという課題に対処する。
• 点群から直接SDFを学習可能にし、unsigned-distanceベースのアプローチの制約を克服する。
• 予測された距離と勾配を用いてクエリ点を表面へ整列させる微分可能な space-pulling 機構を提案する。
• 標準ベンチマークでの表面再構成精度を向上させ、単一画像再構成へ拡張する。

提案手法

• 点群を条件として与えられた3Dクエリ位置で符号付き距離値とその勾配を予測するニューラルネットワークを訓練する。
• 予測された距離と勾配を用いて各クエリ位置を最も近い表面点へ動かす微分可能なpulling操作を定義し、距離に比例するステップで動かす。
• q_iを t_i' = q_i - f(c, q_i) * grad f(c, q_i) / ||grad f(c, q_i)|| の形で引っ張り、符号を考慮して勾配に沿う方向へ進ませる。
• 局所的な点密度に結びついた適応分散を持つ等方ガウス分布を介して表面点の周りにクエリ位置をサンプリングする。
• 引っ張られたクエリ位置と最も近い表面点との間の二乗損失を用いて最適化し、符号付き距離場へ収束するように実質的に促す。
• ジオメトリックネットワーク初期化を用いて球のSDFを近似するように初期化し、Adamで2500エポック訓練する。

実験結果

リサーチクエスチョン

• RQ1 生の3D点群から真の符号付き距離関数を直接学習することは可能か（地上真値SDF supervisionなしで）？
• RQ2 予測距離と勾配を利用する微分可能なspace-pulling操作は、unsigned-distanceや勾配正則化手法より表面再構成を向上させるか？
• RQ3 表面近傍でのクエリ位置のサンプリングは学習効率と最終的なSDF精度にどう影響するか？
• RQ4 ノイズのある点群や異なる点密度に対してNeural-PullはSDF学習でどの程度頑健か？
• RQ5 画像を条件付け入力として扱うことで手法は単一画像再構成へ拡張できるか？

主な発見

Dataset	DSDF	ATLAS	PSR	Points2Surf	IGR	Ours
ABC	8.41	4.69	2.49	1.80	0.51	0.48
FAMOUS	10.08	4.69	1.67	1.41	1.65	0.22
Mean	9.25	4.69	2.08	1.61	1.08	0.35

• Neural-Pullは、ABC、FAMOUS、ShapeNet由来のベンチマークで、提案手法が複数の最先端手法よりも表面再構成精度が優れている（報告テーブルに示された平均L2-CDの改善）。
• 本手法は地上真値の符号付き距離を持たずに点群からSDFを直接学習し、unsigned-distanceベース手法よりも優れている。
• 予測されたSDF値とその勾配の両方を用いる微分可能なpulling操作は、効果的な最適化と有効なSDFへの収束を導く。
• 表面近傍でのクエリ位置サンプリングとジオメトリックネットワーク初期化（GNI）は学習を大幅に改善する；スペースのみのサンプリングやGNIの除去は性能を劣化させる。
• Neural-Pullは単一画像再構成および実画像入力への強い一般化を示し、高忠実度の表面再構成を実現する。