[論文レビュー] Neural Star Domain as Primitive Representation

Yuki Kawana, Yusuke Mukuta+1 more|arXiv (Cornell University)|Oct 21, 2020

3D Shape Modeling and Analysis被引用数 3

ひとこと要約

本稿では、3次元形状の暗黙的および明示的モデリングをスタードメインで統合する新しいプリミティブ表現であるNeural Star Domain（NSD）を提案する。NSDは、包括的で意味的で微分可能な3次元形状再構成を可能にする。従来の手法と比較して、3次元再構成、意味的推論、高解像度メッシュサンプリングの分野で優れた性能を発揮する。

ABSTRACT

Reconstructing 3D objects from 2D images is a fundamental task in computer vision. Accurate structured reconstruction by parsimonious and semantic primitive representation further broadens its application. When reconstructing a target shape with multiple primitives, it is preferable that one can instantly access the union of basic properties of the shape such as collective volume and surface, treating the primitives as if they are one single shape. This becomes possible by primitive representation with unified implicit and explicit representations. However, primitive representations in current approaches do not satisfy all of the above requirements at the same time. To solve this problem, we propose a novel primitive representation named neural star domain (NSD) that learns primitive shapes in the star domain. We show that NSD is a universal approximator of the star domain and is not only parsimonious and semantic but also an implicit and explicit shape representation. We demonstrate that our approach outperforms existing methods in image reconstruction tasks, semantic capabilities, and speed and quality of sampling high-resolution meshes.

研究の動機と目的

• 体積や表面積といった集合的幾何的性質（例：体積、表面積）をサポートするが、同時に包括的で意味的なプリミティブ表現が不足している現状に対処すること。
• 単一の統一された形状表現を用いて、2次元画像から効率的かつ正確に3次元再構成を実現すること。
• 暗黙的および明示的形状モデリングを両方サポートする表現を開発することにより、高速かつ高品質なメッシュサンプリングを可能とすること。

提案手法

• 本手法は、3次元形状をスタードメインにおけるニューラルネットワークで表現する。ここで、各点は中心点からの径方向距離によって定義される。
• ニューラルネットワークはスタードメインにおける径方向関数を学習し、連続的かつ微分可能な関数によって複雑な形状を暗黙的に表現可能にする。
• 径方向関数のゼロレベルセットをサンプリングすることで、明示的なメッシュ抽出が可能となり、高解像度メッシュ生成が実現される。
• 本手法は、体積や表面積などの集合的幾何的性質が、ニューラルパラメータライゼーションから直接計算可能であることを保証する。
• ニューラルネットワークの普遍近似性質を活用して、任意のスターフォーム形状を高い忠実度でモデル化する。
• フレームワークは2次元画像の教師信号に基づきエンドツーエンドで訓練され、単一またはマルチビュー画像からの再構成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 単一のプリミティブ表現が、包括的で意味的であると同時に、暗黙的および明示的形状モデリングを統合できるか？
• RQ2 スタードメインにおけるニューラル表現が、高い幾何的正確性をもって複雑な3次元形状をどれほどよく近似できるか？
• RQ3 提案された表現が、体積や表面積といった集合的幾何的性質を効率的に計算できるか？
• RQ4 本手法が、従来のプリミティブベースの再構成手法と比較して、再構成品質とサンプリング速度の両面で優れているか？
• RQ5 本手法が、2次元の教師信号から高解像度メッシュ生成に一般化可能か？

主な発見

• NSDは2次元画像からの3次元再構成において、最先端の性能を達成しており、定量的および定性的な指標において従来手法を上回っている。
• 本手法は、ニューラルパラメータライゼーションから直接、体積や表面積といった集合的幾何的性質を正確に計算可能である。
• NSDは、ベースライン手法と比較して、優れた品質と速度を実現する高解像度メッシュサンプリングをサポートしている。
• スタードメインにおけるニューラル表現は、スターフォーム形状の普遍的近似器として機能し、強力な一般化能力を示している。
• フレームワークは2次元画像入力から微分可能でエンドツーエンドの訓練が可能であり、高忠実度の3次元再構成を実現している。