[論文レビュー] Geometry-Consistent Neural Shape Representation with Implicit Displacement Fields

Yifan Wang, Lukas Rahmann+1 more|arXiv (Cornell University)|Jun 9, 2021

3D Shape Modeling and Analysis参考文献 54被引用数 23

ひとこと要約

本稿では、3次元幾何形状を低周波数のベース符号付き距離関数と、表面法線に沿った高周波数の変位場オフセットに分解する、ニューラルインプリシット表現の新規アプローチである暗黙的変位場（IDF）を提案する。周波数階層と転送可能な特徴量を組み込んだインダクティブバイアスを有するSIRENベースのアーキテクチャを活用することで、IDFは教師なし幾何的分離を実現し、3次元再構成および詳細転送タスクにおいて優れた細部表現、安定した学習、一般化性能を達成する。

ABSTRACT

We present implicit displacement fields, a novel representation for detailed 3D geometry. Inspired by a classic surface deformation technique, displacement mapping, our method represents a complex surface as a smooth base surface plus a displacement along the base's normal directions, resulting in a frequency-based shape decomposition, where the high frequency signal is constrained geometrically by the low frequency signal. Importantly, this disentanglement is unsupervised thanks to a tailored architectural design that has an innate frequency hierarchy by construction. We explore implicit displacement field surface reconstruction and detail transfer and demonstrate superior representational power, training stability and generalizability.

研究の動機と目的

• 安定的かつ効率的な学習を実現しつつ、ニューラルインプリシット3次元形状における高周波数幾何的詳細の表現に課題を解決すること。
• アーキテクチャ設計による周波数階層の埋め込みを通じて、教師なしの幾何的詳細分離を可能にすること。
• 3次元空間における離散的から連続的・インプリシット表現へと、古典的な変位マッピングを拡張すること。
• 学習可能な転送可能な変位場を介して、形状間での幾何的詳細の転送を可能にすること。
• 3次元再構成および形状モデリングタスクにおける一般化性能と表現力の向上。

提案手法

• 本手法は、3次元形状をベースSDF（符号付き距離関数）と、その表面を法線方向にオフセットする変位場として表現する。
• ベースおよび変位場にSIRENベースのニューラルネットワークアーキテクチャを用い、インダクティブバイアスによって自然な周波数階層を埋め込む。
• クエリ特徴抽出器とマッピングネットワーク（FiLM条件付け）を用いて転送可能な特徴量を構築し、形状間での詳細転送を可能にする。
• 変位場はR³上に暗黙的に定義され、高周波数詳細の連続的かつ解像度に依存しない表現を可能にする。
• ベースネットワークは低周波数SIRENで初期化され、変位学習中に固定された状態で、ベースおよび変位ネットワークの共同最適化を実施する。
• 本フレームワークは2つのシナリオをサポートする：既知のベース形状を用いた詳細転送、および詳細形状からの単独でのベース-変位推定。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャ設計によって、ニューラルインプリシット表現が幾何的周波数成分の教師なし分離を達成できるか？
• RQ2 位置符号化およびSIRENベースラインと比較して、暗黙的変位場表現は高周波数3次元幾何形状の再構成においてどのように性能を発揮するか？
• RQ3 異なる形状間で、明示的な対応関係がなくても、変位場を転送可能にできるか？
• RQ4 周波数階層設計は、ニューラルインプリシット3次元モデリングにおける学習安定性と収束性を向上させるか？
• RQ5 ソースからターゲットへの幾何的詳細の転送において、未知の形状に対しても本手法が一般化可能か？

主な発見

• 提案されたIDF表現は、SIRENおよび位置符号化ベースラインと比較して、特に高周波数領域において顕著に優れた幾何的詳細再構成性能を達成した。
• IDFを用いた学習は、局所最適解や過学習といった一般的な最適化問題を回避するなど、優れた安定性と収束性を示した。
• ベース形状が提供されていなくても、ベースおよび変位場を同時に推定することで、形状間での詳細転送が成功した。
• マッピングネットワークまたはクエリ特徴抽出器を削除すると特徴量の歪みが生じ、正確な詳細転送に不可欠であることが示された。
• 変位場入力のスケーリングが極めて重要である——スケーリングされていない特徴量を使用すると境界アーチファクトが発生し、適切な特徴量正規化の重要性が浮き彫りになった。
• 転送可能なIDFモデルは、空間的に変化する幾何的詳細（例：まゆげなどの顔面特徴）を効果的に転送でき、等長的かつ空間的に不変な詳細にしか対応しないDGTSなどの手法を上回った。