[論文レビュー] 3DShape2VecSet: A 3D Shape Representation for Neural Fields and Generative Diffusion Models

Biao Zhang, Jiapeng Tang+2 more|arXiv (Cornell University)|Jan 26, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

3DShape2VecSet は、ラジアル基底関数とアテンションメカニズムを組み合わせた、3D形状のための学習可能なニューラルフィールド表現を、潜在ベクトルの集合を用いて提案する。この手法は、高品質な3D形状生成および再構成を可能にし、テキスト、画像、点群を条件とした生成、ならびに部分的な入力からの形状補完や再構成という多様な生成タスクにおいて、最先端の性能を達成する。

ABSTRACT

We introduce 3DShape2VecSet, a novel shape representation for neural fields designed for generative diffusion models. Our shape representation can encode 3D shapes given as surface models or point clouds, and represents them as neural fields. The concept of neural fields has previously been combined with a global latent vector, a regular grid of latent vectors, or an irregular grid of latent vectors. Our new representation encodes neural fields on top of a set of vectors. We draw from multiple concepts, such as the radial basis function representation and the cross attention and self-attention function, to design a learnable representation that is especially suitable for processing with transformers. Our results show improved performance in 3D shape encoding and 3D shape generative modeling tasks. We demonstrate a wide variety of generative applications: unconditioned generation, category-conditioned generation, text-conditioned generation, point-cloud completion, and image-conditioned generation.

研究の動機と目的

• 拡散モデルを用いた高精細な生成モデリングを可能にする、新しい3D形状表現の開発。
• 拡散ベースの生成に適した、コンactで学習可能かつ微分可能な潜在空間への3D形状の表現を克服する挑戦への対処。
• テキスト、画像、部分的な点群を含む多様な条件下での3D形状再構成および生成の向上。
• 高精細な再構成と多様でマルチモーダルな生成を両立できる表現の設計。

提案手法

• メッシュまたは点群として与えられる3D形状を、学習可能な潜在ベクトルの集合によって表されるニューラルフィールドに符号化する。
• ラジアル基底関数（RBF）を用いて潜在ベクトル間の補間を実現し、3D幾何の連続的かつ滑らかな表現を可能にする。
• トランスフォーマーに基づくデコーダーが生成中に関連する潜在ベクトルに注目できるように、クロスアテンションおよび自己アテンション機構を採用する。
• 2段階のトレーニングパイプラインを用いる：まず変分オートエンコーダ（VAE）が入力形状を潜在集合に圧縮し、次に学習された潜在空間で拡散モデルをトレーニングする。
• 定期的なグリッドやグローバルベクトルに代えて、潜在集合表現を採用することで、メモリ使用量を削減しながらも微細な幾何的詳細を保持する。
• テキスト、画像、または部分的な点群をクロスアテンションで条件付けすることで、複数の条件付き生成タスクをサポートするアーキテクチャを実現する。

実験結果

リサーチクエスチョン

• RQ1 学習可能で集合ベースの潜在表現は、3D形状生成における拡散モデルにおいて、グローバルベクトルや定期的グリッドを上回る性能を発揮できるか？
• RQ2 集合ベースのニューラルフィールド表現は、点群や単一視点画像といった部分的または不完全な入力から3D形状をどれほど正確に再構成できるか？
• RQ3 アテンションに基づく設計は、テキスト、画像、カテゴリ、点群といった複数の条件モダリティにおいて、どれほど多様で高精細な生成を可能にするか？
• RQ4 提案された表現は、さまざまな3D形状カテゴリに一般化可能であり、トレーニング分布への過学習を回避できるか？

主な発見

• 点群からの3D形状再構成において、定量的指標および視覚的品質の両面で、既存手法を上回る最先端の性能を達成した。
• テキスト条件付き生成において、『最も背の高い椅子』や『赤い車』といった意味的に整合した多様な3D形状を効果的に生成し、強力なゼロショット一般化を示した。
• 画像条件付き生成において、OccNet や IM-Net といった決定的ベースラインと比較して、細い棒や小さな穴といった表面の詳細がより正確に再現された。
• マルチモーダルな生成をサポートし、1枚の画像から多様な再構成が可能であり、これは遮蔽を扱う上で極めて重要である。
• Chamfer距離のリtrievalを用いた形状の新規性分析により、生成された形状がトレーニングデータの単純な記憶に過ぎず、構造的に新規で現実的なものであることが確認された。
• 性能向上にもかかわらず、本手法は2段階のトレーニングプロセスを必要とし、ウェーブレットのような手作業で設計された特徴量と比較して、トレーニング時間が長くなる傾向にある。