[論文レビュー] Point-E: A System for Generating 3D Point Clouds from Complex Prompts

Alex Nichol, Heewoo Jun+3 more|arXiv (Cornell University)|Dec 16, 2022

3D Shape Modeling and Analysis被引用数 157

ひとこと要約

Point E は、プロンプトからの合成ビューをレンダリングするテキスト-to-画像拡散モデルと、そのビューに条件づけられたカラー付き3D点雲を生成する別の拡散モデルを組み合わせ、1–2分で単一GPUサンプリングを達成します。

ABSTRACT

While recent work on text-conditional 3D object generation has shown promising results, the state-of-the-art methods typically require multiple GPU-hours to produce a single sample. This is in stark contrast to state-of-the-art generative image models, which produce samples in a number of seconds or minutes. In this paper, we explore an alternative method for 3D object generation which produces 3D models in only 1-2 minutes on a single GPU. Our method first generates a single synthetic view using a text-to-image diffusion model, and then produces a 3D point cloud using a second diffusion model which conditions on the generated image. While our method still falls short of the state-of-the-art in terms of sample quality, it is one to two orders of magnitude faster to sample from, offering a practical trade-off for some use cases. We release our pre-trained point cloud diffusion models, as well as evaluation code and models, at https://github.com/openai/point-e.

研究の動機と目的

• テキスト条件付き3D生成のサンプリング時間を短縮することにより、3Dコンテンツ作成を民主化する。
• 複雑なプロンプトを扱うために、二段階の拡散アプローチ（テキスト→画像、次に画像→3D）を活用する。
• カラー付き3D点雲を生成し、評価ツールと事前学習済みモデルを提供する。
• ディフュージョンベースの3D生成を単一のGPUで実用的な実行時間へスケールする。

提案手法

• 3Dレンダリング上で微調整されたGLIDEモデルを用いて、テキストプロンプトから合成レンダリングビューを生成する。
• 合成ビューを条件づけとして、トランスフォーマー型拡散モデルを用いて低解像度のカラー付き点雲（1,024点）を作成する。
• 低解像度の点雲と合成ビューを条件づけとして、より高解像度のカラー付き点雲（4,096点）にアップサンプルする。
• レンダリングビューから変換された4Kカラー点雲へ、数百万規模の3Dモデルのデータセットで訓練する。
• 生のテキストだけでなく、CLIPに情報を得た画像特徴量を条件づけとして点雲拡散を行う。
• 評価のために点雲からメッシュをレンダリングし、回帰ベースのSDF予測子と marching cubes を用いる。

実験結果

リサーチクエスチョン

• RQ1 オープンエンドのプロンプトから、テキスト→画像 followed by image-conditioned 3D拡散の二段階パイプラインは、一貫したカラー付き3D点雲を生成できるか？
• RQ2 サンプリング速度と最終的な3D品質のトレードオフは、最先端手法と比較してどうなるか？
• RQ3 よりリッチな画像表現（CLIP潜在表現のグリッド）を条件づけとすることが、3D生成の忠実度と多様性にどう影響するか？
• RQ4 複雑なプロンプトに対する画像条件付き3D拡散の制限と失敗モードは何か？

主な発見

方法	ViT-B/32	ViT-L/14	レイテンシ
DreamFields	78.6%	82.9%	~200 V100-hr
CLIP-Mesh	67.8%	74.5%	~17 V100-min
DreamFusion	75.1%	79.7%	~12 V100-hr
Point⋅E (40M, text-only)	15.4%	16.2%	16 V100-sec
Point⋅E (40M)	36.5%	38.8%	1.0 V100-min
Point⋅E (300M)	40.3%	45.6%	1.2 V100-min
Point⋅E (1B)	41.1%	46.8%	1.5 V100-min
Conditioning images	69.6%	86.6%	-

• Point⋅E は、テキストプロンプトを条件づけとして、多様で複雑なカラー付き3D点雲を生成できる。
• モデル規模の拡大とよりリッチな画像条件づけは、CLIP R-Precision および P-FID/ P-IS 指標を向上させる。
• Point⋅E は従来手法の一部よりもはるかに速いサンプリング（単一GPUで1–2分）を実現する一方で、ピーク品質にはトレードオフがある。
• 定性的な結果は、条件画像の物体形状の誤解や遮蔽された部分のためのいくつかの失敗モードを示している。