[論文レビュー] AtlasNet: A Papier-M\\^ach\\'e Approach to Learning 3D Surface Generation

Thibault Groueix, Matthew Fisher+3 more|arXiv (Cornell University)|Feb 14, 2018

3D Shape Modeling and Analysis参考文献 31被引用数 177

ひとこと要約

AtlasNetは、3D表面へ写像する複数の学習可能な2Dパッチを組み合わせることによって3D表面を生成する学習法で、高解像度のメッシュと点ベースのベースラインに対する一般化性能の向上を実現します。ShapeNet に対するオートエンコードと単一視点再構成をメッシュ出力で実証します。

ABSTRACT

We introduce a method for learning to generate the surface of 3D shapes. Our approach represents a 3D shape as a collection of parametric surface elements and, in contrast to methods generating voxel grids or point clouds, naturally infers a surface representation of the shape. Beyond its novelty, our new shape generation framework, AtlasNet, comes with significant advantages, such as improved precision and generalization capabilities, and the possibility to generate a shape of arbitrary resolution without memory issues. We demonstrate these benefits and compare to strong baselines on the ShapeNet benchmark for two applications: (i) auto-encoding shapes, and (ii) single-view reconstruction from a still image. We also provide results showing its potential for other applications, such as morphing, parametrization, super-resolution, matching, and co-segmentation.

研究の動機と目的

• 連続的な表面を生成するために、直接的にパラメトリックな2D-to-3D写像として表面生成を学習する動機付け。
• AtlasNetを提案する：3D表面に写像する学習可能な2Dパラメータ化の集合。
• このアプローチが高忠実度のメッシュと、巨大なメモリ使用を伴わずに拡張可能な解像度をもたらすことを示す。
• ShapeNetでのオートエンコーディングと単一視点再構成を実証し、モーフィング、パラメータ化、対応付けなどの応用を探る。

提案手法

• 3D形状を学習可能なパラメトリック表面要素（パッチ）の集合として表現する。
• 潜在形状特徴と2D座標を連結し、ReLU活性化を用いるMLPを通して単位正方形のサンプルを3D点へ写像することで形状をデコードする。
• 生成点とターゲット表面サンプル間のChamfer距離を用いて訓練する。形状を覆うN個のパッチ全体で。
• 2Dパッチから3Dへ規則的なメッシュを転送してメッシュを得る。任意解像度のサンプリングとテクスチャリングを可能にする。
• 必要に応じて、密なサンプリングとPoisson表面再構成（PSR）を経てメッシュ品質を向上させる。
• エンコーダ（点群にはPointNet、画像にはResNet-18）を用いて潜在表現を生成し、それをパッチベースのデコーダを条件付けする。

実験結果

リサーチクエスチョン

• RQ1 局所的な2Dパラメータ化の集合として3D形状へ写像する表面を効果的に学習できるか？
• RQ2 ShapeNetにおいて、AtlasNetは点ベースの生成ベースラインと比較して精度と一般化能力を向上させるか？
• RQ3 パッチベースの表面生成は単一視点再構成およびテクスチャリングに適した高解像度メッシュを生成できるか？
• RQ4 パッチ数は忠実度、トポロジーの扱い、および未知カテゴリへの一般化にどう影響するか？

主な発見

手法	CD	Metro
Oracle 2500 pts	0.85	1.56
Oracle 125K pts	-	1.26
Points baseline	1.91	-
Points baseline + normals	2.15	1.82 (PSR)
Ours - 1 patch	1.84	1.53
Ours - 1 sphere	1.72	1.52
Ours - 5 patches	1.57	1.48
Ours - 25 patches	1.56	1.47
Ours - 125 patches	1.51	1.41

• AtlasNetはShapeNetでのオートエンコーディングにおいてChamfer距離とMETROメッシュ距離で点ベースのベースラインを上回る。
• パッチ数を増やすと再構成品質と新規カテゴリーへの一般化が向上する。
• このモデルは高解像度メッシュ（例：数万点）を直接生成でき、過度なメモリコストを伴わない。
• RGB画像からの単一視点再構成は、一部のボクセル/オクツリーベースのベースラインよりも細部をよく保持するメッシュを生成する。
• 推定UVマップを介した形状補間、対応付け、テクスチャパラメータ化などの応用をサポートする。