[論文レビュー] Deep Generative Models on 3D Representations: A Survey

Zifan Shi, Sida Peng+4 more|arXiv (Cornell University)|Oct 27, 2022

Generative Adversarial Networks and Image Synthesis被引用数 14

ひとこと要約

本サーベイは、3Dデータ向けの深層生成モデルについて包括的な概要を提供し、点群、メッシュ、ボクセル、ニューラルフィールドなどのさまざまな3D表現が、VAE、GAN、拡散モデルなどの生成モデルとどのように相互作用するかを分析している。2Dおよび3Dの監視パラダイムを評価し、形状編集、再構成、表現学習における主な応用を強調するとともに、将来の研究における普遍性、制御性、効率性、訓練安定性の面で重要な課題を特定している。

ABSTRACT

Generative models aim to learn the distribution of observed data by generating new instances. With the advent of neural networks, deep generative models, including variational autoencoders (VAEs), generative adversarial networks (GANs), and diffusion models (DMs), have progressed remarkably in synthesizing 2D images. Recently, researchers started to shift focus from 2D to 3D space, considering that 3D data is more closely aligned with our physical world and holds immense practical potential. However, unlike 2D images, which possess an inherent and efficient representation ( extit{i.e.}, a pixel grid), representing 3D data poses significantly greater challenges. Ideally, a robust 3D representation should be capable of accurately modeling complex shapes and appearances while being highly efficient in handling high-resolution data with high processing speeds and low memory requirements. Regrettably, existing 3D representations, such as point clouds, meshes, and neural fields, often fail to satisfy all of these requirements simultaneously. In this survey, we thoroughly review the ongoing developments of 3D generative models, including methods that employ 2D and 3D supervision. Our analysis centers on generative models, with a particular focus on the representations utilized in this context. We believe our survey will help the community to track the field's evolution and to spark innovative ideas to propel progress towards solving this challenging task.

研究の動機と目的

• この分野が急速に発展している中で、包括的なサーベイが不足していることに対応し、3Dデータに応用された深層生成モデルについて体系的なレビューを提供すること。
• 点群、メッシュ、ボクセル、ニューラルフィールドなどの異なる3D表現が生成モデルと組み合わせられた際のトレードオフと制限要因を分析すること。
• 異なる監視設定、特に微分可能レンダリングによる2D監視と3D監視の下での3D生成モデルの性能と設計選択の評価。
• 3D生成分野における普遍性、制御性、推論効率、訓練安定性といった主な課題を同定すること。
• 現在の進捗を統合し、有望な将来の研究方向性を提示することで、研究者および実務家を支援すること。

提案手法

• 本サーベイは、生成アーキテクチャ（例：VAE、GAN、拡散モデル）と3D表現（例：点群、ボクセルグリッド、ニューラルフィールド）に基づいて3D生成モデルを分類することで、体系的な分析を実施している。
• 微分可能レンダリングによる2D監視と3D監視の両方を用いた手法の有効性を比較し、形状生成および再構成における性能を評価している。
• 部分観測や単一視点画像からの3D再構成に向けた、オートデコーダフレームワークとモデル逆問題技術を検討している。
• 3Dに適応した画像生成モデルの活用により、2D監視に基づく逆問題（例：カテゴリレベルのオブジェクトポーズ推定）を可能にする。
• 分類やセマンティックセグメンテーションなどの下流タスクにおける、点群やボクセルグリッドに対する生成モデルの表現学習能力を評価している。
• 複数のベンチマークやデータセット（例：ShapeNet、FFHQ）を統合して分析することで、モデルの一般化性能とカテゴリ間での性能を評価している。

実験結果

リサーチクエスチョン

• RQ1 点群、メッシュ、ボクセル、ニューラルフィールドなどの異なる3D表現は、深層生成モデルの性能と訓練ダイナミクスにどのように影響を与えるか？
• RQ2 微分可能レンダリングによる2D監視と3D監視の間で、3D生成モデリングにおいて相対的にどのような利点と制限があるか？
• RQ3 テキスト、スケッチ、物理的性質などの制御入力によって、3D生成モデルがどれほど制御可能な生成を可能にするか？
• RQ4 現在の3D生成モデルにおける訓練安定性、推論効率、スケーラビリティの主なボトルネックは何か？
• RQ5 3D生成モデルは、多様なオブジェクトカテゴリや動的シーンに対応する普遍的な生成を実現するために、どのように拡張できるか？

主な発見

• ニューラルフィールドや暗黙的表現に基づく3D生成モデルは、高精細な形状生成の観点で強く有望であるが、訓練効率とメモリ使用量の面で課題を抱えている。
• 微分可能レンダリングによる2D監視を用いた手法は、単一視点からの3D再構成やポーズ推定を可能にし、分析・合成のパラダイムに整合している。
• オートデコーダフレームワークを用いたモデル逆問題技術により、潜在変数最適化を介して部分観測からの完全な3D形状の再構成が可能である。
• 進展は見られるものの、大多数の3D生成モデルはShapeNet や FFHQ といったオブジェクトレベルのデータセットに限定されており、多様なカテゴリへの普遍性に欠けている。
• 3D生成モデルの訓練は、複数のハイエンドGPUを用いて通常3～10日間程度を要するため、訓練および推論の両面で顕著な非効率性が生じている。
• モード崩壊や、カメラポーズなどの物理的要因と実画像分布との間の分布不一致は、訓練安定性の面で依然として主要な課題のままである。