[論文レビュー] 3D Object Dense Reconstruction from a Single Depth View.

Bo Yang, Stefano Rosa+3 more|arXiv (Cornell University)|Feb 1, 2018

Advanced Vision and Imaging参考文献 29被引用数 18

ひとこと要約

本稿では、1枚の深度画像を入力として、ボクセルグリッドを用いて完全な3Dオブジェクト形状を再構築するGANベースの手法3D-RecGAN++を提案する。自己符号化器と条件付きGANを組み合わせることで、複数の視点やカテゴリラベルを必要とせずに、高解像度（256³）の占有グリッドを生成し、隠れている領域を正確に回復できる。合成データおよび実世界データセットにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

In this paper, we propose a novel approach, 3D-RecGAN++, which reconstructs the complete 3D structure of a given object from a single arbitrary depth view using generative adversarial networks. Unlike existing work which typically requires multiple views of the same object or class labels to recover the full 3D geometry, the proposed 3D-RecGAN++ only takes the voxel grid representation of a depth view of the object as input, and is able to generate the complete 3D occupancy grid with a high resolution of 256^3 by recovering the occluded/missing regions. The key idea is to combine the generative capabilities of autoencoders and the conditional Generative Adversarial Networks (GAN) framework, to infer accurate and fine-grained 3D structures of objects in high-dimensional voxel space. Extensive experiments on large synthetic datasets and real-world Kinect datasets show that the proposed 3D-RecGAN++ significantly outperforms the state of the art in single view 3D object reconstruction, and is able to reconstruct unseen types of objects.

研究の動機と目的

• 部分的に遮蔽された状態の1枚の深度画像から、完全な3Dオブジェクトジオメトリを再構築する課題に対処すること。
• 従来の手法が完全な再構築に必要としていた複数の視点やカテゴリラベルの必要性を排除すること。
• 未学習のオブジェクトタイプに対しても一般化可能な高解像度3D再構築手法を開発すること。
• 1枚の深度入力における欠落領域の再構築精度と細部構造の再現性を向上させること。

提案手法

• 本手法は、1枚の深度画像のボクセルグリッド表現を入力とし、自己符号化器を用いて潜在空間に符号化する。
• 条件付きGANフレームワークを採用し、生成器は入力深度画像を条件として完全な3D占有グリッドを再構築するように学習する。
• 生成器は adversarial loss を用いて、256³ボクセル空間における現実的で高精細な3D構造を生成するように訓練される。
• 識別器は、実際の3D占有グリッドと生成されたグリッドを区別し、生成器が妥当で詳細な再構築を生成するよう促進する。
• スキップ接続とマルチスケールの監督を統合することで、細粒度の幾何的詳細を保持する。
• 大規模な合成データおよび実世界のKinectデータセット上で、エンドツーエンドに訓練されることで、一般化性能とロバストネスが向上する。

実験結果

リサーチクエスチョン

• RQ1 1枚の深度画像を用いて、高解像度かつ詳細な再構築が可能か？
• RQ2 カテゴリラベルや複数の視点が存在しない状況でも、GANベースのモデルが未学習のオブジェクトカテゴリに一般化できるか？
• RQ3 自己符号化器と条件付きGANを組み合わせることで、再構築品質と構造的正確性がどの程度向上するか？
• RQ4 本手法は、最先端の単一視点3D再構築技術に対して、どの程度の性能向上を達成するか？

主な発見

• 3D-RecGAN++は、合成データおよび実世界データセットにおいて、最先端の手法を上回る優れた再構築品質を達成した。
• モデルは、細粒度の幾何的詳細を捉えた高解像度256³の占有グリッドを効果的に再構築できた。
• 未学習のオブジェクトタイプに対しても効果的に一般化し、学習分布外でもロバストであることが示された。
• アブレーションスタディにより、自己符号化器と条件付きGANのコンポーネントの組み合わせが再構築忠実度を顕著に向上させることを確認した。
• ベンチマークデータセットにおける定量的指標（交差率（IoU）とFスコア）において、既存手法を上回る性能を発揮した。