[论文解读] LRM: Large Reconstruction Model for Single Image to 3D

Yicong Hong, Kai Zhang+8 more|arXiv (Cornell University)|Nov 8, 2023

3D Shape Modeling and Analysis被引用 30

一句话总结

LRM 是首个基于大规模 transformer 的模型，在大约五秒钟内从单张图像重建一个 3D NeRF，基于大约一百万个 3D 形状和视频数据进行训练，以实现对野外输入的泛化。

ABSTRACT

We propose the first Large Reconstruction Model (LRM) that predicts the 3D model of an object from a single input image within just 5 seconds. In contrast to many previous methods that are trained on small-scale datasets such as ShapeNet in a category-specific fashion, LRM adopts a highly scalable transformer-based architecture with 500 million learnable parameters to directly predict a neural radiance field (NeRF) from the input image. We train our model in an end-to-end manner on massive multi-view data containing around 1 million objects, including both synthetic renderings from Objaverse and real captures from MVImgNet. This combination of a high-capacity model and large-scale training data empowers our model to be highly generalizable and produce high-quality 3D reconstructions from various testing inputs, including real-world in-the-wild captures and images created by generative models. Video demos and interactable 3D meshes can be found on our LRM project webpage: https://yiconghong.me/LRM.

研究动机与目标

• 推动一种通用、快速的单图像到 3D 重建，能够在不进行重度逐对象优化的情况下适用于多种对象类别。
• 利用大规模数据和高容量的 transformer 来学习鲁棒的 3D 先验。
• 在 transformer 框架内，利用交叉注意力和自注意力直接从 2D 图像预测三平面形式的 NeRF。

提出的方法

• 使用预训练的 DINO ViT 编码器提取补丁级图像特征。
• 引入一个图像到三平面 transformer 解码器，通过跨注意力将 2D 图像特征投射到 3D 三平面，并通过自注意力进行细化。
• 用三平面 NeRF 表示 3D：三个正交平面（XY、YZ、XZ）具有可学习特征，由三维点查询并通过 MLP 解码为颜色和密度。
• 通过 ModLN（自适应层归一化）用相机特征对 transformer 层进行条件化，以引导三平面特征的生成。
• 在 ~1M 个 3D 形状和视频上端到端训练，使用跨新视图的简单图像重建损失（MSE + LPIPS）。
• 在推理阶段，在 NVIDIA A100 上用时不到 5 秒从三平面-NeRF渲染出 3D 网格。

实验结果

研究问题

• RQ1 单一、具大容量的 transformer 模型是否能够学习通用的 3D 先验，从单张图像重建任意对象？
• RQ2 数据驱动、基于多视图监督的方法在没有逐对象优化的情况下，面对现实世界和生成的输入时的泛化能力如何？
• RQ3 当由 2D 图像特征的跨注意力驱动时，三平面 NeRF 表示的有效性如何？
• RQ4 相机条件化如何影响单图像 3D 重建的收敛性和重建质量？

主要发现

• LRM 能在真实、生成和渲染输入下，从单张图像实现高保真度的 3D 重建。
• 该模型能够在单个 A100 GPU 上，以 5 秒推理时间重建来自不同类别的形状。
• LRM 使用一个 5 亿参数的 transformer 将 2D 图像特征映射到 3D 三平面 NeRF 表示，并进行端到端训练。
• 三平面 NeRF 提供了一种紧凑、高效的 3D 表示，适用于快速渲染和细致的几何/颜色捕捉。
• 在大约 1 百万 3D 形状和视频上的训练，使其能够超越类别特定先验进行泛化。
• 在从 triPlane-NeRF 查询后，LRM 能通过 Marching Cubes 提取网格。