[論文レビュー] ShapeCrafter: A Recursive Text-Conditioned 3D Shape Generation Model

Rao Fu, Xiao Zhan+3 more|arXiv (Cornell University)|Jul 19, 2022

3D Shape Modeling and Analysis被引用数 26

ひとこと要約

ShapeCrafter は、トランスフォーマー based の自己回帰モデルと大規模な Text2Shape++ データセットを用いて、より多くのフレーズが追加されると形状分布を進化させる再帰的なテキスト条件付3D形状生成を導入し、編集と外挿を可能にする。

ABSTRACT

We present ShapeCrafter, a neural network for recursive text-conditioned 3D shape generation. Existing methods to generate text-conditioned 3D shapes consume an entire text prompt to generate a 3D shape in a single step. However, humans tend to describe shapes recursively-we may start with an initial description and progressively add details based on intermediate results. To capture this recursive process, we introduce a method to generate a 3D shape distribution, conditioned on an initial phrase, that gradually evolves as more phrases are added. Since existing datasets are insufficient for training this approach, we present Text2Shape++, a large dataset of 369K shape-text pairs that supports recursive shape generation. To capture local details that are often used to refine shape descriptions, we build on top of vector-quantized deep implicit functions that generate a distribution of high-quality shapes. Results show that our method can generate shapes consistent with text descriptions, and shapes evolve gradually as more phrases are added. Our method supports shape editing, extrapolation, and can enable new applications in human-machine collaboration for creative design.

研究の動機と目的

• 再帰的でフレーズごとの3D形状生成を促す。
• フレーズ列で再帰的生成を支えるデータセット(Text2Shape++)を開発する。
• 局所潜在特徴の分布として3D形状を表現・進化させ、微細なディテールを捉える。
• 3D生成における形状編集、外挿、および長いフレーズ列の条件付けを可能にする。

提案手法

• 3D潜在特徴インデックスグリッドとして形状を符号化するために、ベクトル量子化深い暗黙関数（P-VQ-VAE）を用いる。
• 微調整済みBERTモデルでテキスト特徴を抽出し、それを3Dグリッド解像度に射影する。
• テキストと前のステップに条件付けされたグリッド特徴の結合分布を自己回帰的にモデル化する。
• フレーズ列に対する形状を、複数の真の形状を捉える確率的な形状集合 Z set として表現する。
• 再帰的生成を学習するため Text2Shape++ で訓練し、堅牢なシーケンス処理のために入力順序を並べ替えたランダムトランスフォーマを使用する。

実験結果

リサーチクエスチョン

• RQ1 再帰的でフレーズごとのテキスト記述が、以前のディテールを保持しつつ3D形状分布を段階的に細分化できるか？
• RQ2 Text2Shape++ は、長いフレーズ列にわたる再帰的形状生成の効果的な訓練を可能にするか？
• RQ3 分布として符号化された形状集合は、単一形状のベースラインと比べてより高い忠実度と編集機能を可能にするか？
• RQ4 ShapeCrafter は長いフレーズ列でどのように機能し、新規記述へ外挿するか？

主な発見

指標	Mittal et al. [33]	ShapeCrafter (私たち)
CLIP-S↑	48.92	52.43
SGLOT-C↑	0.46	0.53
FID↓	18.45	16.36

• ShapeCrafter は CLIP-Similarity および ShapeGlot-Confidence 指標で、単一ステップのベースライン（AutoSDF）より高いテキスト–形状対応と形状品質を達成する。
• 本手法はFIDスコアを低くして形状の細部品質の改善を示し、フレーズ列の長さが増加しても性能を維持または向上させる。
• ShapeCrafter は追加されたフレーズと整合的に進化する形状を生成し、徐々の編集と新規記述への外挿を可能にする。
• より多くのフレーズが追加されると、各グリッド分布のエントロピーが低下し、長いプロンプトでより決定論的な形状生成が示される。
• アブレーションは、条件付き訓練、ランダムトランスフォーマー、および入力シーケンス順序のすべてが、より高い CLIP-Similarity と低い FID に寄与することを示している。