[논문 리뷰] Recent Trends in 3D Reconstruction of General Non-Rigid Scenes

Raza Yunus, Jan Eric Lenssen외 8명|arXiv (Cornell University)|2024. 03. 22.

3D Surveying and Cultural HeritageEarth and Planetary Sciences인용 수 3

한 줄 요약

이 논문은 신경 암시 표현을 사용한 일반적인 비강체 장면의 3D 재구성 분야에서 최근의 진전을 검토하며, 단일 시야 및 다중 시야 입력에 초점을 맞춘다. 변형 모델링, 장면 분해, 편집, 생성적 사전 지식 분야에서의 진전을 강조하며, 4D 장면 합성에 있어 미분 가능 렲영, 물리 기반 제약 조건, 확산 기반 모델링 등의 주요 기여를 다룬다.

ABSTRACT

Reconstructing models of the real world, including 3D geometry, appearance, and motion of real scenes, is essential for computer graphics and computer vision. It enables the synthesizing of photorealistic novel views, useful for the movie industry and AR/VR applications. It also facilitates the content creation necessary in computer games and AR/VR by avoiding laborious manual design processes. Further, such models are fundamental for intelligent computing systems that need to interpret real-world scenes and actions to act and interact safely with the human world. Notably, the world surrounding us is dynamic, and reconstructing models of dynamic, non-rigidly moving scenes is a severely underconstrained and challenging problem. This state-of-the-art report (STAR) offers the reader a comprehensive summary of state-of-the-art techniques with monocular and multi-view inputs such as data from RGB and RGB-D sensors, among others, conveying an understanding of different approaches, their potential applications, and promising further research directions. The report covers 3D reconstruction of general non-rigid scenes and further addresses the techniques for scene decomposition, editing and controlling, and generalizable and generative modeling. More specifically, we first review the common and fundamental concepts necessary to understand and navigate the field and then discuss the state-of-the-art techniques by reviewing recent approaches that use traditional and machine-learning-based neural representations, including a discussion on the newly enabled applications. The STAR is concluded with a discussion of the remaining limitations and open challenges.

연구 동기 및 목표

• 일반적인 비강체 장면의 3D 재구성 분야에서 최근의 추세를 종합적으로 개괄하며, 재구성, 분해, 편집, 생성 모델링을 포함한다.
• 신경 암시 표현과 미분 가능 려영이 3D 기하학, 외관, 운동의 종단 간 최적화를 가능하게 하는 역할를 분석한다.
• 일반화 가능하고 생성적인 모델링에서의 열린 과제를 규명하며, 특히 시간적 및 공간적 일관성 측면에서의 과제를 강조한다.
• 물리 기반 제약 조건과 사전 훈련된 특징 등의 인덕티브 바이어스 통합을 통해 장면 이해력 향상과 제어 가능성 향상을 탐색한다.
• 자기 지율 기반 분해 및 실시간 구현이 가능한 방법(예: 가우시안 스플래터링)을 포함한 향후 연구 방향을 개략적으로 제시한다.

제안 방법

• RGB 및 RGB-D 입력에서 3D 기하학, 외관, 운동을 동시에 최적화하기 위해 신경 암시 표현(예: 신경 레이저 방사율 장치, NeRF)을 활용한다.
• 이미지 또는 영상에서 직접 장면 표현을 최적화할 수 있도록 허용하는 미분 가능 려영을 적용한다.
• 미분 가능 시뮬레이터를 통해 물리 기반 사전 지식을 통합하여 현실적인 역학을 강제함으로써 제약 조건 하에서 재구성 정확도를 향상시킨다.
• 4D 장면 생성을 위한 확산 기반 생성 모델과 2D 확산 모델(예: Stable Diffusion, ControlNet)에서의 정렬 기반 방법을 탐색한다.
• 마스크나 템플릿이 필요 없이 자기 지율 학습을 통해 장면 분해(예: 뼈대 또는 구조 발견)를 수행한다.
• 사전 훈련된 특징과 분할 모델을 활용하여 조합적 모델링 및 향상된 편집 기능을 가능하게 한다.

Figure 1 : Capture Trajectories. A frame can consist of images from a single or multiple cameras installed on a rig. The camera or rig can move along a forward-facing, a 360-circle, or a freeform trajectory. Image source: [ WLC ∗ 23 ] .

실험 결과

연구 질문

• RQ1 신경 암시 표현은 단일 시야 또는 다중 시야 입력으로부터 조밀하고 비강체적으로 변형되는 장면을 효과적으로 재구성하는 데 어떻게 활용될 수 있는가?
• RQ2 물리 기반 제약 조건은 비강체 재구성의 정확도와 현실성 향상에 어떤 역할을 하는가?
• RQ3 확산 기반 생성 모델은 스케일에 맞는 일관된 4D(3D + 시간) 장면 재구성을 어떻게 적응시킬 수 있는가?
• RQ4 현재의 방법들은 감독 없이 일반적이고 비정형적인 동적 장면을 다루는 데에서 어떤 한계를 지니는가?
• RQ5 자기 지율 또는 약한 지율 기반 접근법은 지표가 없는 마스크나 템플릿 없이 비강체 장면의 분해 및 편집을 어떻게 가능하게 하는가?

주요 결과

• NeRF와 같은 신경 암시 방법은 종단 간 미분 가능한 프레임워크에서 기하학, 외관, 운동을 동시에 최적화함으로써 최신 기술 수준의 시야 합성 품질을 달성했다.
• 물리 기반 제약 조건은 비강체 설정에서 재구성 정확도를 향상시키지만, 물리 시뮬레이터의 단순화된 가정으로 인해 제한을 받는다.
• 확산 기반 생성 모델은 4D 장면 합성에 있어 잠재력을 보이고 있으나, 현재는 저해상도 장면을 생성하는 데에도 수 시간이 소요되어 확장성 문제를 드러낸다.
• 2D 확산 모델(예: Stable Diffusion)에서의 정렬 기반 방법은 3D 생성 모델링을 위한 실현 가능한 길을 제공하지만, 공간적 및 시간적 일관성 유지가 여전히 핵심 과제로 남아 있다.
• 자기 지율 기반 분해 방법은 지표 마스크나 템플릿이 필요 없이 장면의 구조나 뼈대를 발견하는 데 있어 새로운 방향성을 제시하고 있다.
• 실시간 구현이 가능한 방법(예: 가우시안 스플래터링)과 확산 기반 사전 지식은 향후 확장성 있고 제어 가능한 3D 재구성 분야의 핵심 연구 방향으로 부상하고 있다.

Figure 2 : Common Scene Representations for Non-Rigid Reconstruction. Scene representations can be discrete, such as point clouds, meshes, and grids, or continuous, such as MLPs or Transformers. Both paradigms can optionally be combined, where feature embeddings for continuous neural representations