[論文レビュー] Augmenting Implicit Neural Shape Representations with Explicit Deformation Fields

Matan Atzmon, David Novotný+2 more|arXiv (Cornell University)|Aug 19, 2021

3D Shape Modeling and Analysis参考文献 46被引用数 7

ひとこと要約

本稿では、潜在空間における妥当な形状変形を正則化するために、明示的な区分線形変形場を組み込むことで、暗黙的ニューラル形状表現を向上させるフレームワークを提案する。これらの変形場に対して可能な限り剛体に近いエネルギーを最小化することで、アーティファクト（部分のポップングなど）を低減し、スパarsely sampledデータからの再構築および補間された3次元形状における自然でアーチェイテッドな形状遷移を実現する。

ABSTRACT

Implicit neural representation is a recent approach to learn shape collections as zero level-sets of neural networks, where each shape is represented by a latent code. So far, the focus has been shape reconstruction, while shape generalization was mostly left to generic encoder-decoder or auto-decoder regularization. In this paper we advocate deformation-aware regularization for implicit neural representations, aiming at producing plausible deformations as latent code changes. The challenge is that implicit representations do not capture correspondences between different shapes, which makes it difficult to represent and regularize their deformations. Thus, we propose to pair the implicit representation of the shapes with an explicit, piecewise linear deformation field, learned as an auxiliary function. We demonstrate that, by regularizing these deformation fields, we can encourage the implicit neural representation to induce natural deformations in the learned shape space, such as as-rigid-as-possible deformations.

研究の動機と目的

• 潜在コードの補間における暗黙的ニューラル形状表現の変形の妥当性に制限があることに対処すること。
• 暗黙的表現における形状間の点対応の欠如が、標準的な幾何的正則化を困難にすることを克服すること。
• 特に、生のD-Faustスキャンのようなスパarsely sampledまたは滑らかでないサンプリングされたデータにおいて、再構築を超えた暗黙的ニューラル形状空間の一般化を向上させること。
• 潜在空間に変形の事前知識を埋め込むことで、アーチェイテッドな運動など自然で物理的に妥当な形状変形を可能にすること。
• 明示的な変形場が補助関数として学習可能であり、再構築と補間の忠実度を向上させることを示すこと。

提案手法

• 本手法は、潜在コードの微小変化に伴う3次元空間内の点の移動をモデル化する補助関数として、明示的かつ区分線形な変形場を導入する。
• 変形場は、潜在コードに関する暗黙的ニューラル関数の勾配から導出され、レベルセットの進化と整合性を保つ。
• 可能な限り剛体に近い（ARAP）エネルギーに基づく幾何的正則化損失を変形場に適用し、区分的剛体または弾性運動を促進する。
• 変形場はトレーニング中に暗黙的ニューラル関数と同時に最適化され、潜在コードの遷移が妥当な変形を生じる形状空間を学習可能にする。
• 本フレームワークは汎用的であり、ARAPに限らず、明示的な変形場として表現可能な任意の変形事前知識を統合可能である。
• 本手法は、再構築のためのチェンバーやワーサイスタイン距離、補間品質のためのヒストグラムベースの指標を用いてD-Faustデータセットで評価されている。

実験結果

リサーチクエスチョン

• RQ1 明示的な変形場を用いて、暗黙的ニューラル形状表現を正則化し、より妥当な形状補間を実現できるか？
• RQ2 可能な限り剛体に近い変形事前知識を組み込むことで、標準的なVAEやオートデコーダー正則化と比較して、補間された3次元形状の品質がどのように向上するか？
• RQ3 変形に注意を払った正則化は、D-Faustデータセットのようなスパarsely sampled、非一様にサンプリングされた3次元スキャンの一般化をどの程度向上させるか？
• RQ4 明示的な変形場の統合は、学習セットに存在しない未観測のポーズやアクションの再構築精度を向上させるか？
• RQ5 変形場の学習プロセスは、人間の体の自然な運動学的構造（例：ヒトの身体）を潜在空間で捉えることができるか？

主な発見

• D-Faustデータセットにおいて、提案手法はベースラインのVAEおよびオートデコーダー・モデルに比べ、未観測ポーズの再構築において顕著に優れており、チェンバー距離およびワーサイスタイン距離が低かった。
• 補間中に部分がポップイン・ポップアウトするアーティファクトが低減され、ポーズ間の滑らかで自然な遷移が実現された。
• 潜在コードのスパイラル補間において、変形事前知識を組み込んだ手法は、表面性質のヒストограмのワーサイスタイン距離が低く、線形補間よりも優れた結果を示した。
• 女性被験者スプリットにおいて、本手法はHKS（t_mean）で0.836、ジオデシック距離で0.836を達成したのに対し、ADベースラインは1.203であった。これは形状構造のより良い保存を示している。
• 学習された変形場は、ヒトの身体の自然な運動学的構造に一致する確率ベクトルを生成し、図5の可視化により、解剖学的に妥当な形状が捉えられていることが確認された。
• 形状空間の補間において、本手法は四肢や顔面特徴（図7の赤枠部）で幾何的整合性を維持しており、ベースラインで一般的に見られる歪みを回避した。