[論文レビュー] Local Deep Implicit Functions for 3D Shape

Kyle Genova, Forrester Cole+3 more|arXiv (Cornell University)|Dec 12, 2019

3D Shape Modeling and Analysis参考文献 37被引用数 5

ひとこと要約

本稿では、SIFに基づく空間的分解と深層ニューラルネットワークを用いて、局所的な暗黙関数に形状を構造的に分解する3次元形状表現であるローカルディープ暗黙関数（LDIF）を提案する。LDIFは、パラメータの1%未満で、OccNetと比較して形状再構築において10.3ポイント高いFスコアを達成するとともに、深度画像補完および未学習クラスへの一般化性能において優れた性能を発揮する。

ABSTRACT

The goal of this project is to learn a 3D shape representation that enables accurate surface reconstruction, compact storage, efficient computation, consistency for similar shapes, generalization across diverse shape categories, and inference from depth camera observations. Towards this end, we introduce Local Deep Implicit Functions (LDIF), a 3D shape representation that decomposes space into a structured set of learned implicit functions. We provide networks that infer the space decomposition and local deep implicit functions from a 3D mesh or posed depth image. During experiments, we find that it provides 10.3 points higher surface reconstruction accuracy (F-Score) than the state-of-the-art (OccNet), while requiring fewer than 1 percent of the network parameters. Experiments on posed depth image completion and generalization to unseen classes show 15.8 and 17.8 point improvements over the state-of-the-art, while producing a structured 3D representation for each input with consistency across diverse shape collections.

研究の動機と目的

• 多様な形状カテゴリにわたる高精度な表面再構築、コンactなストレージ、効率的な計算、および一般化を可能にする3次元形状表現の開発。
• 単一の潜在ベクトルに基づくディープ暗黙関数の限界、特に複雑さ、効率性、一般化性能の問題に対処すること。
• SIFの構造的整合性とディープニューラルネットワークの表現力の両方を活用し、局所的な形状詳細を表現すること。
• 3次元メッシュまたは姿勢付き深度画像からのエンドツーエンド学習を可能にし、自己符号化、深度補完、部分表面再構築をサポートすること。
• 複数の3次元ビジョンタスクにおいて性能を向上させつつ、モデルの複雑さを低減すること。

提案手法

• LDIFは、SIF分解から得られる空間内のガウス型領域ごとに定義された局所的暗黙関数の和として3次元形状を表現する。
• 各局所的領域は、ガウス領域上での残差関数を予測する小さなディープニューラルネットワークによってデコードされる潜在ベクトルに関連付けられ、微細な幾何的詳細を捉える。
• 局所的領域内の3次元点を処理するPointNetベースのエンコーダーが、局所化された潜在コードを生成し、特徴表現と一般化性能を向上させる。
• 多様な形状間で一貫した空間的分解を保証するため、共通のSIFテンプレートを用いることで、ゼロショット一般化を可能にする。
• 統一されたアーキテクチャを用いて、形状再構築、深度画像補完、部分表面回復を同時に最適化するフレームワークを構築する。
• 回転自由度の追加、対称性制約の導入、層数と潜在コードサイズの削減による簡素化されたDIFの改善が行われた。

実験結果

リサーチクエスチョン

• RQ1 空間を局所的領域に構造的に分解することで、3次元形状表現におけるディープ暗黙関数の表現力と効率性が向上するか？
• RQ2 ガウス領域上での局所的残差をディープニューラルネットワークで予測することにより、グローバルな暗黙関数と比較して表面再構築性能が向上するか？
• RQ3 LDIFフレームワークは、微調整やドメイン固有のテンプレートなしで、未学習の形状クラスに一般化可能か？
• RQ4 PointNetによる局所符号化と直接的な潜在ベクトル予測とを比較した場合、再構築精度と一般化性能にどのような差が生じるか？
• RQ5 明示的な構造的事前知識（例：対称性、回転）を組み込むことで、性能向上とパラメータ数の削減がどの程度達成できるか？

主な発見

• LDIFは、学習済みクラスの形状における3次元自己符号化において、OccNetと比較して10.3ポイント高いFスコアを達成し、ネットワークパラメータは1%未満である。
• 未学習の形状クラスへの一般化において、最先端手法と比較してFスコアが17.8ポイント向上した。
• 深度画像補完タスクにおいて、LDIFはOccNetと比較してFスコアで15.8ポイントの改善を達成した。
• 局所的PointNetエンコーダーを無効化すると、Fスコアが11.4ポイント低下し、性能と一般化性能におけるその重要性が示された。
• 深度画像の代わりにXYZ画像を入力とすると、すべてのタスクではるかにロバストな結果が得られた。
• 部分的対称性制約の導入により、定量的・定性的な結果が向上し、自由度が削減されても精度に影響を及げなかった。