[論文レビュー] Matryoshka Networks: Predicting 3D Geometry via Nested Shape Layers

Stephan R. Richter, Stefan Roth|arXiv (Cornell University)|Apr 29, 2018

Advanced Vision and Imaging参考文献 1被引用数 68

ひとこと要約

この論文は、ネストされた形状レイヤーを用いて3Dジオメトリを予測する手法として Matryoshka Networks を導入します。

ABSTRACT

In this paper, we develop novel, efficient 2D encodings for 3D geometry, which enable reconstructing full 3D shapes from a single image at high resolution. The key idea is to pose 3D shape reconstruction as a 2D prediction problem. To that end, we first develop a simple baseline network that predicts entire voxel tubes at each pixel of a reference view. By leveraging well-proven architectures for 2D pixel-prediction tasks, we attain state-of-the-art results, clearly outperforming purely voxel-based approaches. We scale this baseline to higher resolutions by proposing a memory-efficient shape encoding, which recursively decomposes a 3D shape into nested shape layers, similar to the pieces of a Matryoshka doll. This allows reconstructing highly detailed shapes with complex topology, as demonstrated in extensive experiments; we clearly outperform previous octree-based approaches despite having a much simpler architecture using standard network components. Our Matryoshka networks further enable reconstructing shapes from IDs or shape similarity, as well as shape sampling.

研究の動機と目的

• 3D ジオメトリ予測のための Matryoshka Networks と呼ばれる新しいネットワークアーキテクチャを導入する。
• 3D 形状の効率的な表現として、ネストされた形状レイヤーの概念を提案する。
• ネストされたレイヤーが3D構造の推論を改善する方法を示す。

提案手法

• ネストされた形状レイヤーを用いて3Dジオメトリを表現するニューラルアーキテクチャを提案する。
• 入力データから詳細な3D構造を推測するためにネスト表現を活用する。
• ジオメトリ予測のためにネスト層モデルを最適化する学習手順の概要を示す。

実験結果

リサーチクエスチョン

• RQ1 従来の表現と比べて、ネストされた形状レイヤーで3Dジオメトリを表現する利点は何か？
• RQ2 与えられた入力から3Dジオメトリを予測する際、Matryoshka Networks はどのように機能するか？
• RQ3 3D予測におけるネスト形状レイヤーの効率と精度への影響は何か？

主な発見

• 提供されたソースの抜粋には記載がない。
• 正確な定量的結果と所見は、提供されたテキストには含まれていない。