[論文レビュー] AutoSDF: Shape Priors for 3D Completion, Reconstruction and Generation

Paritosh Mittal, Yen-Chi Cheng+2 more|arXiv (Cornell University)|Mar 17, 2022

Human Pose and Action Recognition被引用数 7

ひとこと要約

本稿では、3次元形状の離散的・低次元の潜在表現に対する非逐次的自己回帰的形状事前分布であるAutoSDFを提案する。これにより、3次元形状の補完、再構築、および言語誘導生成という複数のタスクを統合的かつ高品質に実現できる。一般化された形状事前分布を学習し、軽量なタスク固有の条件付きモデルと組み合わせることで、最小限のペairedデータで多様な設定においてタスク固有の最先端手法を上回る性能を達成する。

ABSTRACT

Powerful priors allow us to perform inference with insufficient information. In this paper, we propose an autoregressive prior for 3D shapes to solve multimodal 3D tasks such as shape completion, reconstruction, and generation. We model the distribution over 3D shapes as a non-sequential autoregressive distribution over a discretized, low-dimensional, symbolic grid-like latent representation of 3D shapes. This enables us to represent distributions over 3D shapes conditioned on information from an arbitrary set of spatially anchored query locations and thus perform shape completion in such arbitrary settings (e.g., generating a complete chair given only a view of the back leg). We also show that the learned autoregressive prior can be leveraged for conditional tasks such as single-view reconstruction and language-based generation. This is achieved by learning task-specific naive conditionals which can be approximated by light-weight models trained on minimal paired data. We validate the effectiveness of the proposed method using both quantitative and qualitative evaluation and show that the proposed method outperforms the specialized state-of-the-art methods trained for individual tasks. The project page with code and video visualizations can be found at https://yccyenchicheng.github.io/AutoSDF/.

研究の動機と目的

• 3次元推論タスク（補完、再構築、生成など）の複数にわたって活用可能な統一的かつ一般化可能な形状事前分布の開発。
• 任意の部分観測（例：背中の脚だけからチェアを補完するなど）におけるマルチモーダル3次元生成の課題への対処。
• 条件付きタスクにおける大規模ペアデータセットへの依存を減らすために、軽量なタスク固有の条件付きモデルを学習する。
• 画像、テキスト、部分幾何形状といった多様な入力に条件付けられた高精細で多様な3次元形状生成の実現。
• 強力な形状事前分布と効率的な条件付きモデリングを組み合わせることで、低データ環境における一般化性能の向上。

提案手法

• 本手法は、生の3次元データから3次元形状の低次元で離散的な潜在表現を学習するVQ-VAEベースのエンコーダを用いる。
• ランダムに選択された順序でサンプリングすることで、任意の部分集合のボクセル観測に条件づけられるように、離散的潜在空間上で非逐次の自己回帰的トランスフォーマーを学習する。
• 自己回帰的事前分布は、潜在トークンの条件付き確率の積として3次元形状の同時分布をモデル化し、多様で妥当な形状生成を可能にする。
• タスク固有の「ナイーブ」な条件付きモデルは、最小限のペアデータ（例：画像-形状、テキスト-形状ペア）に基づいて軽量なモデルで学習される。
• 最終的な生成は、学習済み事前分布とタスク固有の条件付きモデルの積として近似され、効率的かつ効果的な推論を実現する。
• このフレームワークは任意の条件付けをサポートする：部分観測、単一視点画像、または自然言語の記述。

Figure 2 : Overview of Autoregressive Modeling. (top) We use a VQ-VAE to extract a low-dimensional discrete representation of 3D shapes. Using a patch-wise encoder enables independently encoding local context and allows downstream tasks with partial observations. (bottom) We learn a transformer-base

実験結果

リサーチクエスチョン

• RQ1 1つの一般化可能な形状事前分布を、補完、再構築、生成といった複数の3次元生成タスクに効果的に適用できるか？
• RQ2 自己回帰的事前分布を、非連続的または散在する形状部分（例：孤立した脚）のような任意の部分観測に適合させることは可能か？
• RQ3 最小限のペアデータで学習された軽量な条件付きモデルが、強力な形状事前分布を効果的にガイドし、高品質で多様な出力を生成できるか？
• RQ4 非逐次の自己回帰的事前分布とタスク固有の条件付きモデルを組み合わせることで、マルチモーダル3次元生成においてタスク固有の最先端手法を上回る性能が得られるか？
• RQ5 言語誘導生成において、複雑で曖昧なテキスト記述に対しても、本手法は十分に一般化できるか？

主な発見

• AutoSDFは、ペアデータが最小限の条件付きモデルでも、3次元形状の補完、単一視点再構築、言語誘導生成において、専用の最先端手法を上回る性能を発揮する。
• 本手法は、テキスト記述や部分視点といった入力条件と整合性のとれた意味論的に適切な形状を、多様で高精細に生成する。
• 定性的な結果から、JE や T2S といったベースラインと比較して、AutoSDFはテキストプロンプトにより適切に適合した形状を生成しており、多様性と現実性が向上している。
• 非逐次の自己回帰的事前分布により、孤立した脚や背面視といった任意の空間的部分に効果的に条件づけられ、入力が疎であっても頑健な補完が可能である。
• 本フレームワークは、保持済みのテキスト記述（特に複雑で曖昧な記述）に対しても良好に一般化するが、曖昧性が増すと生成品質が低下する傾向がある。
• VQ-VAEベースの潜在表現は、形状の主要な構造を保持しており、潜在コードからの忠実な再構築と高品質な生成を可能にする。

Figure 3 : Overview of conditional generation. The proposed autoregressive prior can be used across diverse conditional generation tasks. For each task, we use a domain specific encoder followed by 3D up-convolutions to learn task specific conditional distributions. During inference, we can sample f