[논문 리뷰] NeuralRecon: Real-Time Coherent 3D Reconstruction from Monocular Video

Jiaming Sun, Yiming Xie외 3명|arXiv (Cornell University)|2021. 04. 01.

Advanced Vision and Imaging참고 문헌 54인용 수 4

한 줄 요약

NeuralRecon는 3D 희소 컨volution과 GRU 기반 융합 모듈을 사용하여 로컬 비디오 조각에 대해 직접 희소 TSDF 볼륨을 예측하는 학습 기반 실시간 3D 재구성 시스템을 제안한다. 이는 단일 영상에서 33 FPS로 조밀하고 일관되며 정확한 3D 기하 구조 재구성을 가능하게 하며, 이전 방법들보다 속도와 정확도에서 뛰어나며, 딥러닝을 사용한 실시간이고 일관된 재구성을 처음으로 달성한다.

ABSTRACT

We present a novel framework named NeuralRecon for real-time 3D scene reconstruction from a monocular video. Unlike previous methods that estimate single-view depth maps separately on each key-frame and fuse them later, we propose to directly reconstruct local surfaces represented as sparse TSDF volumes for each video fragment sequentially by a neural network. A learning-based TSDF fusion module based on gated recurrent units is used to guide the network to fuse features from previous fragments. This design allows the network to capture local smoothness prior and global shape prior of 3D surfaces when sequentially reconstructing the surfaces, resulting in accurate, coherent, and real-time surface reconstruction. The experiments on ScanNet and 7-Scenes datasets show that our system outperforms state-of-the-art methods in terms of both accuracy and speed. To the best of our knowledge, this is the first learning-based system that is able to reconstruct dense coherent 3D geometry in real-time.

연구 동기 및 목표

• 각 프레임의 깊이 맵을 추정하고 나중에 융합하는 깊이 기반 재구성 파ip라인의 불일치성과 중복성 문제를 해결한다.
• 딥러닝을 사용하여 단일 영상 스트림으로부터 실시간, 조밀하고 글로벌 일관성 있는 3D 재구성을 가능하게 한다.
• 독립적인 단일 시야 깊이 추정으로 인한 척도 불일치성과 기하학적 아티팩트를 해결하기 위해 로컬 비디오 조각 내에서 표면을 함께 재구성한다.
• 기존 재구성된 글로벌 기하 구조를 조건으로 삼는 가역적이고 순환적인 융합 메커니즘을 도입하여 시간적 및 공간적 일관성을 확보한다.
• 33 FPS의 실시간 성능를 유지하면서도 기존의 학습 기반 및 비학습 기반 방법들을 뛰어넘는 높은 재구성 정확도를 달성한다.

제안 방법

• 2D 이미지 인코더를 사용해 단일 영상 프레임을 처리하여 특징을 추출하고, 이를 3D 희소 특징 볼륨으로 전개한다.
• 粗모형에서 세밀모형으로의 3D 희소 컨volution 네트워크를 적용하여 각 로컬 비디오 조각에 대해 희소 TSDF 볼륨을 예측하고, 국소적 매끄러움과 글로벌 형태 사전 지식을 학습한다.
• 가중치 게이트드 순환 단위(GRU)를 사용해 현재 조각의 특징과 이전에 재구성된 기하 구조의 은닉 상태를 융합하여 맥락 인식형 순차적 재구성을 가능하게 한다.
• 융합은 점유 볼륨(OCC) 또는 조각의 경계 볼륨(FBV) 내에서 수행되며, FBV는 맥락 통합을 향상시키고 아티팩트를 감소시킨다.
• GRU 기반 융합 모듈을 활용해 시간에 걸쳐 일관된 기하 정보를 선택적으로 통합함으로써 선형 또는 평균 융합보다 더 높은 강인성과 완전성 확보.
• 융합된 TSDF 볼륨에 대해 Marching Cubes 알고리즘을 적용하여 최종 표면을 재구성함으로써 3D 검출 및 신경 렌더링 등의 후속 작업에 직접 활용 가능.

Figure 1: Comparison between depth-based 3D reconstruction methods and the proposed method. In depth-based methods, key-frame depths are estimated separately from each key frame, and later fused into a TSDF volume. In the proposed method, the TSDF volume is directly predicted with all the key frames

실험 결과

연구 질문

• RQ1 딥러닝 기반 시스템이 단일 영상에서 별도의 깊이 추정과 융합 과정을 피하면서도 실시간으로 3D 기하 구조를 공동으로 재구성하고 융합할 수 있는가?
• RQ2 기존의 선형 또는 평균 융합과 비교해, GRU 기반 순환 융합 모듈이 글로벌 일관성 유지와 재구성 품질 향상에 얼마나 효과적인가?
• RQ3 전체 장면이 아닌 로컬 비디오 조각 내에서 재구성하는 것이 기하학적 일관성 향상과 먼 또는 관련 없는 시야에서 오는 노이즈 감소에 기여하는가?
• RQ4 희소적이고 계층적인 3D CNN 아키텍처가 소비자 하드웨어에서 실시간 추론 속도를 유지하면서도 고해상도 재구성 성능을 달성할 수 있는가?
• RQ5 직접 TSDF 융합 대신 특징 융합을 사용할 경우 재구성 정확도와 완전성 향상에 얼마나 기여하는가?

주요 결과

• NeuralRecon는 33개의 키프레임을 1초에 처리하며, 이는 이전 최고 성능을 기록한 Atlas보다 약 10배 빠른 속도를 기록했고, 정확도는 뛰어나다.
• ScanNet 데이터셋에서 9개 시야의 조각을 사용할 경우, 3D F-스코어가 0.516을 기록하여 깊이 기반 및 볼륨 기반 기준선을 모두 능가하는 재구성 품질을 확보했다.
• 평균 또는 선형 융합 대비 GRU 기반 융합을 사용할 경우 재현율이 4% 향상됨(0.535 → 0.572)하고, 벽이나 가구와 같은 도전적인 표면에서 메ッシュ 완전성이 향상됨.
• 조각의 경계 볼륨(FBV) 내에서 융합할 경우 점유 볼륨(OCC) 내 융합보다 F-스코어가 6.5% 높게 나타나 경계에서 맥락 통합의 이점이 입증됨.
• qualitative 비교에서 Atlas 및 깊이 기반 기준선 대비 더 선명하고 일관된 기하 구조를 생성하며, 아티팩트가 적고 시야 간 척도 일관성이 유지됨.
• 제거 분석 결과에서 조각 길이를 5에서 9로 늘일 경우 F-스코어가 2% 이상 향상됨을 확인하여, 조각 내 시야 수 증가가 재구성 정확도 향상에 기여함.

Figure 2: NeuralRecon architecture. NeuralRecon predicts TSDF with a three-level coarse-to-fine approach that gradually increases the density of sparse voxels. Key-frame images in the local fragment are first passed through the image backbone to extract the multi-level features. These image features