[論文レビュー] Learning elementary structures for 3D shape generation and matching

Théo Deprelle, Thibault Groueix+4 more|arXiv (Cornell University)|Aug 13, 2019

3D Shape Modeling and Analysis参考文献 30被引用数 15

ひとこと要約

本論文では、形状コレクションから変形可能で再利用可能な3次元素因数を学習することで、3次元形状生成および一致の性能を向上させる手法を提案する。2つの手法—パッチ変形学習と点移動学習—を用い、手作業で設計されたプリミティブを上回る解釈可能な繰り返し部分（例：翼、尾）を自動で発見する。FAUSTベンチマークでは、AtlasNetより16%高い再構成精度、3D-CODEDより6%高い対応精度を達成した。

ABSTRACT

We propose to represent shapes as the deformation and combination of learnable elementary 3D structures, which are primitives resulting from training over a collection of shape. We demonstrate that the learned elementary 3D structures lead to clear improvements in 3D shape generation and matching. More precisely, we present two complementary approaches for learning elementary structures: (i) patch deformation learning and (ii) point translation learning. Both approaches can be extended to abstract structures of higher dimensions for improved results. We evaluate our method on two tasks: reconstructing ShapeNet objects and estimating dense correspondences between human scans (FAUST inter challenge). We show 16% improvement over surface deformation approaches for shape reconstruction and outperform FAUST inter challenge state of the art by 6%.

研究の動機と目的

• 多様な形状に一般化可能な一貫性のある、データ駆動型の3次元プリミティブのセットを発見し、手作業で選定されたテンプレートに依存しないようにすること。
• 形状コレクションから共有され変形可能な構造を学習することで、3次元形状の再構成と密な対応推定を改善すること。
• 学習された構造の線形またはニューラルネットワークベースの変換により、形状とポーズの分離表現を可能にすること。
• 形状の抽象化とディープな表面変形を統合し、解釈可能で微分可能である両方の性質を持つ構造を学習すること。

提案手法

• パッチ変形学習を活用：2次元または3次元の初期表面（例：正方形や球）を、多層パーセプトロン（MLP）を用いて学習された素因数構造に変形する。
• 点移動学習を採用：固定された点の配置を最適化してターゲット形状を再構成し、トポロジーの柔軟性を実現する。
• 共有構造アプローチを適用：同じ学習済み素因数構造をすべての形状に共通して使用し、一貫性を確保する。
• 構造学習と変形・移動を統合した深層アーキテクチャを採用し、再構成損失および対応損失を用いたエンドツーエンド学習を可能にする。
• テンプレートを高次元空間に射影または埋め込むことで、10次元などの高次元素因数構造をサポートし、再構成の忠実度を向上させる。
• 推論時に線形またはMLPベースの変換を用いて構造のポーズや位置を調整し、解釈可能で柔軟な形状生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 明示的なパーツアノテーションなしに、形状コレクションから一貫性があり再利用可能な3次元素因数のセットを自動で学習できるか？
• RQ2 データ駆動型で学習された素因数構造は、手作業で設計されたプリミティブよりも優れた3次元形状再構成と対応性能を達成できるか？
• RQ3 パッチ変形学習と点移動学習という異なる学習パラダイムは、表面の連続性、トポロジーの柔軟性、性能の観点でどのように比較できるか？
• RQ4 学習された構造は形状とポーズのコンponentに分離可能か？これにより、解釈可能な形状操作が可能になるか？
• RQ5 高次元素因数構造（例：10次元）を用いることで、再構成と対応精度が向上するか？

主な発見

• 一般形状再構成（SURREALデータセット）において、AtlasNetより16%の相対的な再構成精度の向上を達成し、Chamfer損失は1.11（AtlasNetの1.33）を記録した。
• 人間形状の対応性を評価するFAUSTベンチマークでは、3D-CODEDを6%上回り、対応誤差は2.76（3D-CODEDの2.96）を記録した。
• 学習された素因数構造は、航空機における翼、尾、反応炉などの解釈可能な部分に対応しており、意味のある構造的発見を示している。
• 点移動学習は再構成性能が最も優れており（Chamfer損失1.11）、一方で変形学習は対応精度が優れている（誤差2.76）ことから、表面の連続性と一致精度の間にはトレードオフがあることが明らかになった。
• 10次元などの高次元素因数構造（例：10次元）を用いることで再構成性能が向上し、SURREALデータセットではChamfer損失が1.01に低下した。これは本手法のスケーラビリティを示している。
• 学習された構造は形状間で一貫しており、ノイズや欠損がある状況でも、FAUSTデータセットを用いた実験で未学習データへの一般化性能が優れていることが示された。