[论文解读] Era3D: High-Resolution Multiview Diffusion using Efficient Row-wise Attention

Peng Li, Yuan Liu+11 more|arXiv (Cornell University)|May 19, 2024

Advanced Image Processing Techniques被引用 4

一句话总结

Era3D 提出了一种高分辨率多视角扩散模型，通过引入基于扩散的相机预测模块来估计焦距和仰角，并采用逐行注意力机制以强制执行对极几何先验，从而实现从单视角输入生成 512×512 多视角图像。该方法将计算复杂度降低了 12 倍，并实现了高保真度的 3D 网格重建，在分辨率和对相机内参不匹配的鲁棒性方面优于先前方法。

ABSTRACT

In this paper, we introduce Era3D, a novel multiview diffusion method that generates high-resolution multiview images from a single-view image. Despite significant advancements in multiview generation, existing methods still suffer from camera prior mismatch, inefficacy, and low resolution, resulting in poor-quality multiview images. Specifically, these methods assume that the input images should comply with a predefined camera type, e.g. a perspective camera with a fixed focal length, leading to distorted shapes when the assumption fails. Moreover, the full-image or dense multiview attention they employ leads to an exponential explosion of computational complexity as image resolution increases, resulting in prohibitively expensive training costs. To bridge the gap between assumption and reality, Era3D first proposes a diffusion-based camera prediction module to estimate the focal length and elevation of the input image, which allows our method to generate images without shape distortions. Furthermore, a simple but efficient attention layer, named row-wise attention, is used to enforce epipolar priors in the multiview diffusion, facilitating efficient cross-view information fusion. Consequently, compared with state-of-the-art methods, Era3D generates high-quality multiview images with up to a 512*512 resolution while reducing computation complexity by 12x times. Comprehensive experiments demonstrate that Era3D can reconstruct high-quality and detailed 3D meshes from diverse single-view input images, significantly outperforming baseline multiview diffusion methods. Project page: https://penghtyx.github.io/Era3D/.

研究动机与目标

• 为解决现有多视角扩散模型假设相机类型固定所带来的局限性，避免在输入图像偏离预设内参时产生形状失真。
• 降低密集多视角注意力的计算复杂度，因其随分辨率增加而呈不良增长，阻碍高分辨率生成。
• 实现高分辨率（512×512）多视角图像生成，以提升 3D 重建的保真度。
• 通过端到端学习输入图像中的相机参数，提升对任意相机内参和视角的鲁棒性。
• 通过确保多视角一致性与几何准确性，促进从生成的多视角图像中实现精确的 3D 网格重建。

提出的方法

• 基于扩散的相机预测模块可估计输入图像的焦距与仰角，从而在不产生形状失真的前提下适应任意相机内参。
• 提出一种新型的逐行注意力机制，通过仅在各视角间对应行上进行注意力计算，强制实现对极约束，将计算复杂度从 O(N²S⁴) 降低至 O(N²S³)。
• 该方法在标准相机设置下运行，采用正交相机且固定仰角（0°），简化了对极几何关系，从而实现高效的注意力计算。
• 模型采用去噪 U-Net 结构，并在视角之间引入交叉注意力，其中注意力计算仅沿对齐的对极线上进行。
• 相机预测在训练过程中通过真实姿态监督，并引入正则化以防止去噪步骤中误差累积。
• 该框架支持在训练时随机丢弃条件图像，从而提升泛化能力与鲁棒性。

Figure 1 : Given single-view image with arbitrary intrinsic and viewpoints, Era3D can generate high-quality multiview images with a resolution of $512\times 512$ on the orthogonal camera setting, which can be used in mesh reconstruction by NeuS [ 102 ] .

实验结果

研究问题

• RQ1 扩散模型能否从单视角输入中准确预测相机内参（焦距与仰角），以实现无失真的多视角生成？
• RQ2 如何在不牺牲跨视角一致性的前提下，使高分辨率下的多视角注意力计算更加高效？
• RQ3 与密集多视角注意力相比，逐行注意力在多大程度上能保持对极几何并提升生成质量？
• RQ4 所提方法能否生成支持精确 3D 网格重建的高分辨率（512×512）多视角图像？
• RQ5 该方法对输入相机参数（如焦距与视角）变化的鲁棒性如何？

主要发现

• 通过用逐行注意力替代密集多视角注意力，Era3D 相较于最先进多视角扩散模型将计算复杂度降低了 12 倍。
• 该模型可生成 512×512 分辨率的高分辨率多视角图像，显著优于先前方法的 256×256 限制。
• 在 GSO 数据集上，平均仰角预测误差为 0.29°，方差仅为 32.1，表明预测具有高精度与强鲁棒性。
• 焦距预测误差平均降低至 0.01（归一化值），且方差低于基线模型，显示出对不同焦距的强泛化能力。
• 在各种相机设置下（包括极端焦距，如 f=135mm；以及极端仰角，如 α=40°），重建网格的 Chamfer Distance（CD）始终低于 0.022，表明具有出色的几何保真度。
• 视觉结果表明，无论输入图像类型如何（包括真实网络图像），生成的多视角图像均保持一致且无失真，且法向图与网格重建结果准确。

Figure 2 : Different types of multiview attention layers. ( a ) In a dense multiview attention layer, all feature vectors of multiview images are fed into an attention block. For a general camera setting ( b ) with arbitrary viewpoints and intrinsics, utilizing epipolar constraint to construct an ep