[論文レビュー] SurfNet: Generating 3D shape surfaces using deep residual networks

Ayan Sinha, Asim Unmesh+2 more|arXiv (Cornell University)|Mar 12, 2017

3D Shape Modeling and Analysis参考文献 33被引用数 27

ひとこと要約

SurfNetは、一貫性のある幾何画像を表面表現として用いることで、2次元画像またはパラメトリック表現から直接3D形状の表面を生成する深層残差ネットワークを提案する。本手法により、形状間のリアルな補間、未観測視点からの再構築、および学習された内部表現を用いた対応ラベルの改善が可能となり、ボクセルベースの手法に比べて計算効率と表面忠実度で優れている。

ABSTRACT

3D shape models are naturally parameterized using vertices and faces, \ie, composed of polygons forming a surface. However, current 3D learning paradigms for predictive and generative tasks using convolutional neural networks focus on a voxelized representation of the object. Lifting convolution operators from the traditional 2D to 3D results in high computational overhead with little additional benefit as most of the geometry information is contained on the surface boundary. Here we study the problem of directly generating the 3D shape surface of rigid and non-rigid shapes using deep convolutional neural networks. We develop a procedure to create consistent `geometry images' representing the shape surface of a category of 3D objects. We then use this consistent representation for category-specific shape surface generation from a parametric representation or an image by developing novel extensions of deep residual networks for the task of geometry image generation. Our experiments indicate that our network learns a meaningful representation of shape surfaces allowing it to interpolate between shape orientations and poses, invent new shape surfaces and reconstruct 3D shape surfaces from previously unseen images.

研究の動機と目的

• 3Dボクセル表現に計算的に高価な変換を必要とせず、2次元画像またはパラメトリックコードから直接3D形状表面を生成するための深層学習フレームワークの開発。
• パrametrizationカットや球面マップに依存しない、種類にわたるgenus-0 3D表面に対して一貫性があり、頑健な幾何画像表現の構築。
• 2次元入力から3D表面座標 (x, y, z) をエンドツーエンドに生成するための深層残差ネットワークの拡張により、ポーズの暗黙的推定と高周波数の表面詳細の保持を実現。
• 異なるポーズや形状間での表面補間、未観測の中間的構成の生成を可能にする。
• ニューラルネットワークの内部表現を用いて、ノイズの多いメッシュ対応関係を補正し、学習データの品質を向上させる。

提案手法

• 本手法は、3Dメッシュとベースとなる球面パラメトリック化との間の大規模な対応問題を解くことで、形状カテゴリ全体にわたってトポロジーや幾何的整合性を保つ一貫性のある幾何画像を構築する。
• 入力画像または1-ホットエンコーディングされた形状コードから3D表面座標 (x, y, z) をエンコードする幾何画像を予測するため、深層残差U-Netアーキテクチャを用いる。
• 再帰的マッピングを学習することで高周波数の表面詳細を生成し、再構築精度と一般化性能を向上させる。
• 入力データには、剛体物体（例：自動車、飛行機）のRGB画像と、非剛体物体（例：手）の深度画像を含め、生成時に視点を暗黙的に推定する。
• 予測された幾何画像を元のメッシュ空間に再投影することで、学習された潜在表現を活用し、ノイズの多いメッシュ対応関係を改善する。
• 1-ホットエンコーディングされたベクトルが形状の同一性を制御し、潜在空間における線形補間により、実際の間隔のない表面形状の変形を生成可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、ボクセライゼーションを経ずに2次元画像またはパラメトリックコードから現実的な3D形状表面を生成できるか？
• RQ2 3D形状のカテゴリ全体にわたって、信頼性の高い学習と生成を可能にするために、一貫性のある幾何画像表現をどのように構築できるか？
• RQ3 深層残差ネットワークは、ポーズとアイデンティティの両方をカバーする、分離可能で意味のある3D形状表面表現をどの程度学習できるか？
• RQ4 ネットワークの内部表現を用いて、学習データ内のノイズの多いまたは不正確なメッシュ対応関係を補正できるか？
• RQ5 モデルは、トレーニング時に見られなかった3D表面ポーズの再構築や、妥当な新しい形状の生成に一般化できるか？

主な発見

• ネットワークは、未観測のRGB画像および深度画像から現実的な3D形状表面を効果的に再構築でき、剛体および非剛体の両カテゴリで頑健な再構築を示した。
• 1-ホットエンコーディングされた形状ベクトル間の線形補間により、異なる自動車や飛行機モデル間で滑らかで現実的な変形が生成され、中間のボディスタイルも含めた。
• モデルは形状とポーズの分離された表現を学習し、方位角方向と形状アイデンティティの両方を同時に補間可能である。
• ネットワークが予測した幾何画像は、ベースメッシュ上のノイズ低減と勾配の滑らかさ向上により、対応品質を向上させ、元の対応マップを上回った。
• 視覚的比較および対応品質指標による検証により、最小限のアーティファクトで高忠実度の表面再構築を達成した。
• 本手法は、トレーニング時に見られなかった新しい形状やポーズにも一般化可能であり、ネットワークが意味的で一般化可能な形状表現を捉えていることを示している。