[论文解读] AutoSDF: Shape Priors for 3D Completion, Reconstruction and Generation

Paritosh Mittal, Yen-Chi Cheng+2 more|arXiv (Cornell University)|Mar 17, 2022

Human Pose and Action Recognition被引用 7

一句话总结

该论文提出 AutoSDF，一种针对 3D 形状离散、低维潜在表征的非序列自回归形状先验，实现了 3D 补全、重建和语言引导生成的统一且高质量生成。通过学习一个通用的形状先验并将其与轻量级任务特定条件模型结合，AutoSDF 在多种设置下超越了任务特定的最先进方法，且仅需极少的配对数据。

ABSTRACT

Powerful priors allow us to perform inference with insufficient information. In this paper, we propose an autoregressive prior for 3D shapes to solve multimodal 3D tasks such as shape completion, reconstruction, and generation. We model the distribution over 3D shapes as a non-sequential autoregressive distribution over a discretized, low-dimensional, symbolic grid-like latent representation of 3D shapes. This enables us to represent distributions over 3D shapes conditioned on information from an arbitrary set of spatially anchored query locations and thus perform shape completion in such arbitrary settings (e.g., generating a complete chair given only a view of the back leg). We also show that the learned autoregressive prior can be leveraged for conditional tasks such as single-view reconstruction and language-based generation. This is achieved by learning task-specific naive conditionals which can be approximated by light-weight models trained on minimal paired data. We validate the effectiveness of the proposed method using both quantitative and qualitative evaluation and show that the proposed method outperforms the specialized state-of-the-art methods trained for individual tasks. The project page with code and video visualizations can be found at https://yccyenchicheng.github.io/AutoSDF/.

研究动机与目标

• 开发一种统一且可泛化的形状先验，可被应用于多种 3D 推断任务，如补全、重建和生成。
• 解决在任意部分观测下的多模态 3D 生成挑战，例如仅从椅子的后腿完成整个椅子。
• 通过学习轻量级任务特定条件模型，减少对大规模配对数据集的依赖。
• 实现基于多样化输入（包括图像、文本和部分几何）的高保真、多样化 3D 形状生成。
• 通过将强大形状先验与高效条件建模相结合，提升低数据场景下的泛化能力和性能。

提出的方法

• 该方法使用基于 VQ-VAE 的编码器，从原始 3D 数据中学习 3D 形状的低维离散潜在表征。
• 在离散潜在空间上训练非序列自回归 Transformer，采用随机采样顺序，以支持对任意观测体素子集的条件建模。
• 自回归先验将 3D 形状的联合分布建模为潜在标记条件概率的乘积，从而实现多样且合理的形状生成。
• 通过在极小配对数据（如图像-形状或文本-形状对）上训练的轻量级模型，学习任务特定的“朴素”条件模型。
• 最终生成近似为学习到的先验与任务特定条件模型的乘积，实现高效且有效的推理。
• 该框架支持任意条件输入：部分观测、单视角图像或自然语言描述。

Figure 2 : Overview of Autoregressive Modeling. (top) We use a VQ-VAE to extract a low-dimensional discrete representation of 3D shapes. Using a patch-wise encoder enables independently encoding local context and allows downstream tasks with partial observations. (bottom) We learn a transformer-base

实验结果

研究问题

• RQ1 能否在一个通用形状先验上有效支持多种 3D 生成任务，如补全、重建和生成？
• RQ2 如何使自回归先验兼容任意部分观测（如非连续或分散的形状部分）？
• RQ3 能否通过在极小配对数据上训练的轻量级条件模型，有效引导强大的形状先验，生成高质量且多样的输出？
• RQ4 将非序列自回归先验与任务特定条件模型结合，是否能在多模态 3D 生成中超越任务特定的最先进模型？
• RQ5 该方法在语言引导生成中对复杂、模糊或罕见的文本描述的泛化能力如何？

主要发现

• 即使条件模型仅使用极少配对数据，AutoSDF 在 3D 补全、单视角重建和语言引导生成方面仍优于专门的最先进方法。
• 该方法生成的 3D 形状多样且保真度高，且与输入条件（如文本描述或部分视图）在语义上保持一致。
• 定性结果表明，与 JE 和 T2S 等基线模型相比，AutoSDF 生成的形状与文本提示更匹配，且在多样性与真实感方面表现更优。
• 非序列自回归先验使对任意空间子集（如孤立的腿或背面视图）的条件建模成为可能，从而实现从稀疏输入中稳健补全。
• 该框架对未见的文本描述（包括复杂和模糊的描述）泛化良好，尽管随着模糊性增加，生成质量可能下降。
• 基于 VQ-VAE 的潜在表征保留了关键形状结构，支持从潜在码中实现忠实重建和高质量生成。

Figure 3 : Overview of conditional generation. The proposed autoregressive prior can be used across diverse conditional generation tasks. For each task, we use a domain specific encoder followed by 3D up-convolutions to learn task specific conditional distributions. During inference, we can sample f