[論文レビュー] Deep Structured Implicit Functions

Kyle Genova, Forrester Cole+3 more|arXiv (Cornell University)|Dec 12, 2019

3D Shape Modeling and Analysis参考文献 25被引用数 30

ひとこと要約

本論文は、空間を学習された暗黙関数に分解することで、正確で効率的かつ一貫性のある表面再構成を実現する3次元形状表現であるローカルディープインクリメント関数（LDIF）を提案する。LDIFは、OccNetと比較して10.3ポイント高いFスコアを達成し、パrameter数は1%未満に抑えている。また、深度画像補完とゼロショット一般化性能をそれぞれ15.8点および17.8ポイント向上させた。

ABSTRACT

The goal of this project is to learn a 3D shape representation that enables accurate surface reconstruction, compact storage, efficient computation, consistency for similar shapes, generalization across diverse shape categories, and inference from depth camera observations. Towards this end, we introduce Local Deep Implicit Functions (LDIF), a 3D shape representation that decomposes space into a structured set of learned implicit functions. We provide networks that infer the space decomposition and local deep implicit functions from a 3D mesh or posed depth image. During experiments, we find that it provides 10.3 points higher surface reconstruction accuracy (F-Score) than the state-of-the-art (OccNet), while requiring fewer than 1 percent of the network parameters. Experiments on posed depth image completion and generalization to unseen classes show 15.8 and 17.8 point improvements over the state-of-the-art, while producing a structured 3D representation for each input with consistency across diverse shape collections.

研究の動機と目的

• 深度画像またはメッシュから正確な表面再構成を可能にする3次元形状表現を学習すること。
• 類似形状間で一貫性を保ちつつ、コンパクトなストレージと効率的な計算を実現すること。
• 推論時に未学習の形状カテゴリに対しても効果的に一般化できること。
• 1枚の視点からの深度観測から、構造的かつ分解可能な3次元表現を可能にすること。
• 再構成精度、パrameter効率、ゼロショット一般化性能において、最先端手法を上回ること。

提案手法

• LDIFは、空間分割上に定義された一連の局所的暗黙関数からなる構造的セットに3次元空間を分解する。
• ニューラルネットワークが3次元メッシュまたは姿勢合わせ済み深度画像から、空間分割と局所的暗黙関数のパラメータを推論する。
• 各局所的暗黙関数は、その局所領域内での表面までの符号付き距離値を予測する。
• 構造的一致性と空間的一致性を保証するため、微分可能空間分割機構を用いる。
• エンドツーエンドで訓練することで、表面再構成と一般化性能を最適化する。
• 局所的かつパラメータ化された暗黙関数を活用することで、効率的な推論とコンパクトなストレージを実現する。

実験結果

リサーチクエスチョン

• RQ1 グローバルな暗黙関数と比較して、局所的暗黙関数への空間の構造的分解は、3次元形状再構成の正確性を向上させ得るか？
• RQ2 高い忠実度を維持したまま、このような表現はどの程度効率的に学習・保存できるか？
• RQ3 限定的な学習データからのみで、LDIFは未学習の形状カテゴリにどの程度一般化できるか？
• RQ4 LDIFは、1枚の視点からの深度画像から、高い一貫性と正確性をもって完全な形状を再構成できるか？
• RQ5 OccNetのような最先端手法と比較して、LDIFの性能とパrameter効率はどの程度か？

主な発見

• LDIFは、表面再構成においてOccNetよりも10.3ポイント高いFスコアを達成し、優れた正確性を示した。
• この手法は、OccNetが使用するパラメータの1%未満で済むため、高いパrameter効率を示した。
• 最先端技術比で、深度画像補完性能が15.8ポイント向上した。
• 未学習の形状カテゴリへのゼロショット一般化性能が17.8ポイント向上した。
• 学習された表現は多様な形状コレクションにわたり構造的かつ一貫性があり、深度観測からの信頼性の高い推論を可能にした。
• LDIFは、コンパクトで効率的かつ一般化可能な3次元形状表現を実現しながらも、高い再構成品質を維持した。