[논문 리뷰] GaussianObject: High-Quality 3D Object Reconstruction from Four Views with Gaussian Splatting

Yang Chen, Sikuang Li외 6명|arXiv (Cornell University)|2024. 02. 15.

3D Surveying and Cultural HeritageEarth and Planetary Sciences인용 수 3

한 줄 요약

GaussianObject는 3D 가우시안 스플래터링을 사용하여 단지 네 장의 입력 이미지에서 고품질 3D 객체 재구성을 위한 새로운 프레임워크를 제안한다. 다중 시야 일致성을 확보하기 위해 시각 헬름 사전 지식과 플로터 제거 기법을 통합하고, 누락되거나 압축된 기하 구조를 복구하기 위해 확산 기반 가우시안 복구 모델을 활용함으로써, MipNeRF360, OmniObject3D, OpenIllumination에서 최신 기술 수준의 성능을 달성한다. 입력 시야 수가 극히 적은 조건에서도 뛰어난 성능을 발휘한다.

ABSTRACT

Reconstructing and rendering 3D objects from highly sparse views is of critical importance for promoting applications of 3D vision techniques and improving user experience. However, images from sparse views only contain very limited 3D information, leading to two significant challenges: 1) Difficulty in building multi-view consistency as images for matching are too few; 2) Partially omitted or highly compressed object information as view coverage is insufficient. To tackle these challenges, we propose GaussianObject, a framework to represent and render the 3D object with Gaussian splatting that achieves high rendering quality with only 4 input images. We first introduce techniques of visual hull and floater elimination, which explicitly inject structure priors into the initial optimization process to help build multi-view consistency, yielding a coarse 3D Gaussian representation. Then we construct a Gaussian repair model based on diffusion models to supplement the omitted object information, where Gaussians are further refined. We design a self-generating strategy to obtain image pairs for training the repair model. We further design a COLMAP-free variant, where pre-given accurate camera poses are not required, which achieves competitive quality and facilitates wider applications. GaussianObject is evaluated on several challenging datasets, including MipNeRF360, OmniObject3D, OpenIllumination, and our-collected unposed images, achieving superior performance from only four views and significantly outperforming previous SOTA methods. Our demo is available at https://gaussianobject.github.io/, and the code has been released at https://github.com/GaussianObject/GaussianObject.

연구 동기 및 목표

• 매우 희소한 시야, 특히 네 장의 이미지에서 고품질 3D 객체를 재구성하는 문제를 해결하기 위해.
• 제한된 입력 데이터로 학습할 경우 다중 시야 일치성을 향상시켜 과적합 및 조각난 표현을 방지하기 위해.
• 희소 촬영에서 시야 커버리지가 부족해 발생하는 누락되거나 심하게 압축된 객체 기하 구조를 복구하기 위해.
• 3D 가우시안 스플래터링을 활용해 빠르고 명시적이고 미분 가능한 3D 표현을 구조 사전 지식과 함께 제공하기 위해.
• 자체 생성된 이미지 쌍을 사용해 손상된 렌더링 아티팩트를 복구하는 데 목적이 있는 확산 기반 복구 모델을 개발하기 위해.

제안 방법

• 초기 3D 가우시안 표현은 객체 외곽선 내부에 가우시안을 제약하는 시각 헬름을 사용하여 구성되며, 기하 일치성을 강제한다.
• 최적화 과정 중 플로터 제거 기법이 적용되어 객체 표면에 속하지 않는 이상치 가우시안을 제거한다.
• 확산 기반 복구 모델 학습을 위해 자기 생성 전략이 사용되며, 이는 하나를 제외한 렌더링과 3D 가우시안 노이즈 주입을 포함한다.
• 확산 모델은 저품질이거나 손상된 렌더링 이미지를 고품질 버전으로 변환하고, 이를 다시 3D 가우시안 표현을 정밀하게 보정하는 데 사용한다.
• 복구 모델은 3D 가우시안 최적화와 함께 엔드 투 엔드로 학습되며, 피드백을 통해 반복적으로 렌더링 품질을 향상시킨다.
• 구조 인식 초기화와 생성 복구 기법을 통합하여 단지 네 뷰에서 고해상도 3D 재구성을 달성한다.

실험 결과

연구 질문

• RQ1 단지 네 장의 입력 이미지로 3D 가우시안 스플래터링에서 다중 시야 일치성을 효과적으로 확립할 수 있는가?
• RQ2 시야 커버리지가 제한된 상황에서 누락되거나 심하게 압축된 객체 기하 구조는 어떻게 복구할 수 있는가?
• RQ3 확산 모델은 손상된 3D 렌더링 이미지를 복구하여 3D 가우시안 정밀도를 향상시키는 데 적합하게 변형할 수 있는가?
• RQ4 쌍체 실재 데이터가 없는 상황에서 효과적인 복구 모델 학습을 가능하게 하는 자기 지도적 데이터 생성 전략은 무엇인가?
• RQ5 구조 사전 지식과 생성 복구를 통합하면 희소 시야 벤치마크에서 최신 기술 수준의 방법보다 뛰어난 3D 재구성 품질을 달성할 수 있는가?

주요 결과

• GaussianObject는 MipNeRF360, OmniObject3D, OpenIllumination에서 단지 네 장의 입력 뷰로 최신 기술 수준의 성능을 달성한다.
• OpenIllumination의 '케이크' 시나리오에서 네 뷰로 GaussianObject는 PSNR 28.58, SSIM 0.9613을 기록하며 ZeroRF(PSNR: 29.44, SSIM: 0.9650) 및 기타 최신 기술 수준 방법들을 능가한다.
• OpenIllumination의 '파인' 객체에서 GaussianObject는 PSNR 21.68, LPIPS 0.0761을 달성하며, 3DGS(PSNR: 10.07, LPIPS: 0.3038)에 비해 뚜렷한 성능 향상을 보였다.
• 어려운 시나리오인 '슈룸'과 '소'에서, 프레임워크는 3DGS 대비 최대 40%의 LPIPS 감소와 DietNeRF 대비 최대 30%의 LPIPS 감소를 기록했다.
• 복구 모델 학습을 위한 자기 생성 전략은 모든 테스트 데이터셋에서 PSNR와 SSIM 향상을 통해 효과적인 아티팩트 제거를 가능하게 했다.
• 정성적 결과는 GaussianObject가 네 뷰에서도 조각나지 않고 세밀하며 시각적으로 타당한 3D 재구성을 생성함을 보여주며, 최소한의 아티팩트와 높은 기하 구조 충실도를 확보했다.