[論文レビュー] Neural Unsigned Distance Fields for Implicit Function Learning

Julian Chibane, Aymen Mir+1 more|arXiv (Cornell University)|Oct 26, 2020

3D Shape Modeling and Analysis参考文献 80被引用数 31

ひとこと要約

Neural Distance Fields (NDF) を導入する。これは、表面への符号なし距離場を予測するニューラルネットワーク表現で、開いた表面・内部構造・多様体を実現し、スパースな点群からの最先端の3D再構成を達成するとともに、閉じた形状を作ることなく密な表面抽出・メッシュ・レンダリングをサポートする。

ABSTRACT

In this work we target a learnable output representation that allows continuous, high resolution outputs of arbitrary shape. Recent works represent 3D surfaces implicitly with a Neural Network, thereby breaking previous barriers in resolution, and ability to represent diverse topologies. However, neural implicit representations are limited to closed surfaces, which divide the space into inside and outside. Many real world objects such as walls of a scene scanned by a sensor, clothing, or a car with inner structures are not closed. This constitutes a significant barrier, in terms of data pre-processing (objects need to be artificially closed creating artifacts), and the ability to output open surfaces. In this work, we propose Neural Distance Fields (NDF), a neural network based model which predicts the unsigned distance field for arbitrary 3D shapes given sparse point clouds. NDF represent surfaces at high resolutions as prior implicit models, but do not require closed surface data, and significantly broaden the class of representable shapes in the output. NDF allow to extract the surface as very dense point clouds and as meshes. We also show that NDF allow for surface normal calculation and can be rendered using a slight modification of sphere tracing. We find NDF can be used for multi-target regression (multiple outputs for one input) with techniques that have been exclusively used for rendering in graphics. Experiments on ShapeNet show that NDF, while simple, is the state-of-the art, and allows to reconstruct shapes with inner structures, such as the chairs inside a bus. Notably, we show that NDF are not restricted to 3D shapes, and can approximate more general open surfaces such as curves, manifolds, and functions. Code is available for research at https://virtualhumans.mpi-inf.mpg.de/ndf/.

研究の動機と目的

• 任意の形状の連続的で高解像度な出力をサポートする学習可能な出力表現を動機づける。
• トレーニング中に開いた表面を処理するために形状を閉じる必要性を排除する。
• スパース点群から密な点群、メッシュ、およびレンダリング可能な画像へ再構成を可能にする。
• ShapeNet での最先端再構成を示し、NDF を開いた曲線・多様体・関数へ拡張する。

提案手法

• 入力点群をマルチスケールの3D CNN でエンコードし、グリッド特徴を生成する。
• デコードは符号なし距離を表す回帰として行い、f(p) = Phi(Psi_x(p)) とする。ここで Psi_x は p でマルチスケール特徴を抽出し、Phi は特徴を非負の距離へ写像する。
• 距離を予算 delta にクリップする損失で、表面近傍に焦点を当てるように訓練する。
• 表面抽出と法線を得るために f の解析的勾配をバックプロパゲーションで計算する。
• 密な点群を抽出するアルゴリズム（投影 p - f(p)∇f(p) を介して）と、既成の手法を用いてメッシュを生成するアルゴリズムを提供する。
• 画像をレンダリングし、球面トレースを改良した手法で法線を推定する。
• f(x, y) = 0 を定式化して多目的回帰を可能にし、ある入力に対して複数の出力をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 NDF は、従来の SDF/占有法ベースの手法とは異なり、開いた表面や内部構造を表現できるのか。
• RQ2 表面を閉じることなく raw scans の直接学習で高品質な再構成を達成できるのか。
• RQ3 NDF は、閉じた3Dモデルだけでなく、複雑な実世界の場面や開いた衣服を再構成できるのか。
• RQ4 NDF を 3D 形状以外の曲線・多様体・一般関数を表現するよう拡張できるのか。
• RQ5 表面法線を NDF の勾配から導出してレンダリング・シェーディングを可能にできるのか。

主な発見

• NDF は ShapeNet の車両に対してスパース点群からの再構成精度で最先端を達成し、いくつかのベースラインを上回る。
• NDF は内部構造を持つ形状（例：バスの中の椅子）や開いた表面を再構成でき、従来の IFL 手法には表現できなかった。
• NDF は開いた曲線と多様体を表現でき、2D 関数や螺旋の内挿・近似を関数回帰実験で示した。
• raw scans での訓練と閉じた hulls を必須としないことにより、SAL のような閉データベースに対する精度が大幅に向上する。
• 論文は、学習済みの符号なし距離場から直接密な点群・メッシュ・レンダリングを得る実用的なアルゴリズムを提供している。