[논문 리뷰] Era3D: High-Resolution Multiview Diffusion using Efficient Row-wise Attention

Peng Li, Yuan Liu외 11명|arXiv (Cornell University)|2024. 05. 19.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

Era3D는 단일 뷰 입력에서 512×512 다중 뷰 이미지를 생성하기 위해 확산 기반 카메라 예측 모듈을 도입하여 초점 거리와 고도를 추정하고, 에피포일 전제를 강제하기 위해 행 단위 어텐션 메커니즘을 도입한 고해상도 다중 뷰 확산 모델을 제안한다. 이는 계산 복잡도를 12배 감소시키며 고정밀도 3D 메시 재구성 가능하게 하여 이전 방법들에 비해 해상도와 카메라 내재 매개변수 불일치에 대한 강건성 면에서 슈퍼어리어를 달성한다.

ABSTRACT

In this paper, we introduce Era3D, a novel multiview diffusion method that generates high-resolution multiview images from a single-view image. Despite significant advancements in multiview generation, existing methods still suffer from camera prior mismatch, inefficacy, and low resolution, resulting in poor-quality multiview images. Specifically, these methods assume that the input images should comply with a predefined camera type, e.g. a perspective camera with a fixed focal length, leading to distorted shapes when the assumption fails. Moreover, the full-image or dense multiview attention they employ leads to an exponential explosion of computational complexity as image resolution increases, resulting in prohibitively expensive training costs. To bridge the gap between assumption and reality, Era3D first proposes a diffusion-based camera prediction module to estimate the focal length and elevation of the input image, which allows our method to generate images without shape distortions. Furthermore, a simple but efficient attention layer, named row-wise attention, is used to enforce epipolar priors in the multiview diffusion, facilitating efficient cross-view information fusion. Consequently, compared with state-of-the-art methods, Era3D generates high-quality multiview images with up to a 512*512 resolution while reducing computation complexity by 12x times. Comprehensive experiments demonstrate that Era3D can reconstruct high-quality and detailed 3D meshes from diverse single-view input images, significantly outperforming baseline multiview diffusion methods. Project page: https://penghtyx.github.io/Era3D/.

연구 동기 및 목표

• 기존 다중 뷰 확산 모델이 고정된 카메라 유형을 가정함에 따라 입력 이미지가 사전 정의된 내재 매개변수에서 벗어날 경우 형태 왜곡이 발생하는 한계를 해결하기 위해.
• 해상도가 높아질수록 비례적으로 악화되는 다중 뷰 어텐션의 계산 복잡도를 줄이기 위해.
• 더 높은 해상도(512×512)의 다중 뷰 이미지 생성을 통해 3D 재구성 정밀도를 향상시키기 위해.
• 입력 이미지에서 카메라 매개변수를 종합적으로 학습함으로써 임의의 카메라 내재 매개변수와 시점에 대한 강건성을 향상시키기 위해.
• 다중 뷰 일致성과 기하학적 정확도를 확보하여 생성된 다중 뷰 이미지에서 정확한 3D 메시 재구성을 가능하게 하기 위해.

제안 방법

• 확산 기반 카메라 예측 모듈이 입력 이미지의 초점 거리와 고도를 추정하여 고정된 카메라 내재 매개변수 외부의 다양한 카메라 설정에 적응하면서 형태 왜곡 없이 작동한다.
• 새로운 행 단위 어텐션 메커니즘이 뷰 간 대응 행에만 주목함으로써 에피포일 제약 조건을 강제하여 계산 복잡도를 O(N²S⁴)에서 O(N²S³)로 감소시킨다.
• 모델는 정규화된 카메라 설정에서 직각 카메라와 고정된 고도(0°)를 사용하여 에피포일 기하학을 단순화하고 효율적인 어텐션 계산을 가능하게 한다.
• 모델는 뷰 간 교차 어텐션을 갖춘 노이즈 제거 U-Net을 사용하며, 어텐션은 오직 뷰 간 행으로 정렬된 에피포일 선을 따라 계산된다.
• 카메라 예측은 훈련 중 진짜 자세 정보를 기반으로 감독되며, 노이즈 제거 단계 간 누적 오차를 방지하기 위한 정규화 조건이 적용된다.
• 조건 이미지의 무작위 제거를 지원함으로써 일반화 능력과 강건성을 향상시킨다.

Figure 1 : Given single-view image with arbitrary intrinsic and viewpoints, Era3D can generate high-quality multiview images with a resolution of $512\times 512$ on the orthogonal camera setting, which can be used in mesh reconstruction by NeuS [ 102 ] .

실험 결과

연구 질문

• RQ1 단일 뷰 입력에서 확산 모델이 카메라 내재 매개변수(초점 거리 및 고도)를 정확히 예측하여 왜곡 없는 다중 뷰 생성을 가능하게 할 수 있는가?
• RQ2 고해상도에서 다중 뷰 어텐션의 계산 효율성을 어떻게 높일 수 있으며, 이로 인해 뷰 간 일치성이 손상되지 않도록 할 수 있는가?
• RQ3 행 단위 어텐션은 밀도 있는 다중 뷰 어텐션에 비해 에피포일 기하학을 얼마나 잘 유지하고 생성 품질을 향상시키는가?
• RQ4 제안된 방법은 고해상도(512×512) 다중 뷰 이미지를 생성하여 정확한 3D 메시 재구성을 가능하게 하는가?
• RQ5 초점 거리 및 시점과 같은 입력 카메라 매개변수의 변화에 대해 이 방법은 얼마나 강건한가?

주요 결과

• Era3D는 밀도 있는 다중 뷰 어텐션을 행 단위 어텐션으로 대체함으로써 최신 기술 대비 계산 복잡도를 12배 감소시켰다.
• 모델는 이전 방법의 256×256 한계를 뛰어넘어 고해상도 다중 뷰 이미지(512×512)를 생성한다.
• GSO 데이터셋에서 평균 고도 예측 오차는 0.29°이며, 분산은 단지 32.1로 매우 높은 정확도와 강건성을 보여준다.
• 초점 거리 예측 오차는 평균 0.01(정규화 기준)으로, 기준 모델들보다 분산이 낮아 다양한 초점 거리에 대한 강력한 일반화 능력을 입증한다.
• 다양한 카메라 설정, 특히 극단적인 초점 거리(f=135mm)와 고도(α=40°)에서도 재구성된 메시의 찰머 거리(CD)는 0.022 이하로 유지되어 강력한 기하학적 정밀도를 보인다.
• 시각적 결과는 실제 웹 이미지 포함 다양한 입력에서 일관되고 왜곡 없는 다중 뷰 생성을 보여주며, 정확한 노말 매핑과 메시 재구성 결과를 제공한다.

Figure 2 : Different types of multiview attention layers. ( a ) In a dense multiview attention layer, all feature vectors of multiview images are fed into an attention block. For a general camera setting ( b ) with arbitrary viewpoints and intrinsics, utilizing epipolar constraint to construct an ep