[논문 리뷰] LRM: Large Reconstruction Model for Single Image to 3D

Yicong Hong, Kai Zhang외 8명|arXiv (Cornell University)|2023. 11. 08.

3D Shape Modeling and Analysis인용 수 30

한 줄 요약

LRM은 단일 이미지에서 약 다섯 초 만에 3D NeRF를 재구성하는 최초의 대형 트랜스포머 기반 모델이며, 일반화하기 위해 약 백만 개의 3D 형태와 비디오 데이터로 학습되었습니다.

ABSTRACT

We propose the first Large Reconstruction Model (LRM) that predicts the 3D model of an object from a single input image within just 5 seconds. In contrast to many previous methods that are trained on small-scale datasets such as ShapeNet in a category-specific fashion, LRM adopts a highly scalable transformer-based architecture with 500 million learnable parameters to directly predict a neural radiance field (NeRF) from the input image. We train our model in an end-to-end manner on massive multi-view data containing around 1 million objects, including both synthetic renderings from Objaverse and real captures from MVImgNet. This combination of a high-capacity model and large-scale training data empowers our model to be highly generalizable and produce high-quality 3D reconstructions from various testing inputs, including real-world in-the-wild captures and images created by generative models. Video demos and interactable 3D meshes can be found on our LRM project webpage: https://yiconghong.me/LRM.

연구 동기 및 목표

• 다양한 객체 범주에 대해 과도한 형상별 최적화 없이도 작동하는 일반적이고 빠른 단일 이미지에서 3D 재구성을 목표로 한다.
• 대규모 데이터와 고용량 트랜스포머를 활용해 강건한 3D 사전지식을 학습한다.
• Transformer 프레임워크 내에서 교차 주의(attention)와 자체 주의(self-attention)를 활용해 2D 이미지에서 트리플레인 형태의 NeRF를 직접 예측한다.

제안 방법

• 사전 학습된 DINO ViT 인코더를 사용해 패치 단위의 이미지 특징을 추출한다.
• 이미지-트립레인 트랜스포머 디코더를 도입해 2D 이미지 특징을 교차 주의로 3D 트립레인으로 투사하고 자체 주의로 정제한다.
• 3D를 트립레인 NeRF로 표현: 세 개의 직교 평면(XY, YZ, XZ)과 학습 가능한 특징을 갖고 3D 점이 질의하고 MLP로 색상과 밀도를 디코딩한다.
• ModLN(적응형 계층 정규화)을 통해 카메라 특징으로 트랜스포머 층을 조건화하여 트립레인 특징 생성을 유도한다.
• 노출된 새로운 시점들 간의 간단한 이미지 재구성 손실(MSE + LPIPS)을 사용해 ~1M 개의 3D 형태와 비디오에 대해 엔드-투-엔드 학습한다.
• 추론 시 트립레인-NeRF에서 3D 메시를 NVIDIA A100에서 5초 이내로 렌더링한다.

실험 결과

연구 질문

• RQ1 단일 대형 용량의 트랜스포머 모델이 단일 이미지에서 임의의 객체를 재구성하기 위한 일반적 3D 사전지식을 학습할 수 있는가?
• RQ2 데이터 주도형 다중 시점 감독 접근이 객체별 최적화 없이 실제 세계 및 생성된 입력에 얼마나 잘 일반화하는가?
• RQ3 2D 이미지 특징으로부터 교차 주의에 의해 구동될 때 트립레인 NeRF 표현의 효과는 무엇인가?
• RQ4 카메라 조건화가 단일 이미지 3D 재구성의 수렴 및 재구성 품질에 어떤 영향을 미치는가?

주요 결과

• LRM은 실제(real), 생성된(generated), 렌더링(rendered) 입력에 대해 단일 이미지로부터 고해상도 3D 재구성을 달성한다.
• 모델은 다양한 범주에서 5초의 추론 시간으로 단일 A100 GPU에서 형태를 재구성할 수 있다.
• LRM은 2D 이미지 특징을 3D 트립레인 NeRF 표현으로 매핑하는 5억 파라미터 트랜스포머를 사용하며 엔드-투-엔드 학습을 수행한다.
• 트립레인 NeRF는 빠른 렌더링과 자세한 기하학/색상 캡처에 적합한 компакт하고 효율적인 3D 표현을 제공한다.
• 약 100만 개의 3D 형태와 비디오를 학습에 사용해 범주별 선호 priors를 넘어 일반화한다.
• LRM은 트립레인-NeRF를 dense한 포인트 그리드를 쿼리한 후 Marching Cubes를 통해 메시를 추출할 수 있다.