[논문 리뷰] SimpleRecon: 3D Reconstruction Without 3D Convolutions

Mohamed Sayed, John Gibson외 4명|arXiv (Cornell University)|2022. 08. 31.

Advanced Vision and Imaging인용 수 5

한 줄 요약

SimpleRecon은 3D 컨볼루션을 사용하지 않고도 최신 기술 수준의 3D 재구성을 달성한다. 2D CNN과 평면 스위프트 비용 볼륨을 사용하며, MLP를 통해 기하학적 및 키프레임 메타데이터를 강화한다. 이는 깊이 추정 및 재구성 정확도에서 이전 방법들을 능가하며, 자원이 제한된 장치에서 실시간, 저메모리 추론을 가능하게 한다.

ABSTRACT

Traditionally, 3D indoor scene reconstruction from posed images happens in two phases: per-image depth estimation, followed by depth merging and surface reconstruction. Recently, a family of methods have emerged that perform reconstruction directly in final 3D volumetric feature space. While these methods have shown impressive reconstruction results, they rely on expensive 3D convolutional layers, limiting their application in resource-constrained environments. In this work, we instead go back to the traditional route, and show how focusing on high quality multi-view depth prediction leads to highly accurate 3D reconstructions using simple off-the-shelf depth fusion. We propose a simple state-of-the-art multi-view depth estimator with two main contributions: 1) a carefully-designed 2D CNN which utilizes strong image priors alongside a plane-sweep feature volume and geometric losses, combined with 2) the integration of keyframe and geometric metadata into the cost volume which allows informed depth plane scoring. Our method achieves a significant lead over the current state-of-the-art for depth estimation and close or better for 3D reconstruction on ScanNet and 7-Scenes, yet still allows for online real-time low-memory reconstruction. Code, models and results are available at https://nianticlabs.github.io/simplerecon

연구 동기 및 목표

• 모바일 장치와 같은 자원이 제한된 환경에서 3D 재구성에 필요한 3D 컨볼루션의 높은 계산 비용을 해결한다.
• 기존의 두 단계 3D 재구성 파이프라인(깊이 추정 → 융합)을 재검토하여, 비용이 많이 드는 3D 컨볼루션에 의존하지 않고 깊이 품질을 향상시킨다.
• 강력한 2D CNN, 기하학적 사전 지식, 이미지 고유의 메타데이터를 비용 볼륨에 통합하여 다중 시야 깊이 추정 정확도를 향상시킨다.
• 고품질의 깊이 예측만으로도 종합적인 3D 재구성 성능을 확보할 수 있음을 입증한다. 이는 종래의 엔드 투 엔드 3D 볼륨 학습 방법보다 경쟁력 있거나 뛰어난 성능을 낸다.
• 복잡한 3D 특징 학습을 피하고 깊이 품질에 집중함으로써, 표준 TSDF 융합을 사용하여 실시간, 온라인 재구성을 가능하게 한다.

제안 방법

• 다중 입력 이미지로부터 깊이를 추정하기 위해 2D CNN과 이미지 사전 지식, 평면 스위프트 3D 특징 볼륨을 활용한다.
• 다중 수준의 MLP를 사용하여 키프레임 및 기하학적 메타데이터(예: 자세 거리, 레이 방향, 각도, 깊이, 마스크)를 비용 볼륨에 통합하여 깊이 평면 점수 평가에 정보를 제공한다.
• 16 또는 64개의 특징 채널을 사용한 도트 곱 기반 비용 볼륨 감소 기법을 적용하며, 아키텍처 선택과 훈련 손실을 최적화한다.
• 기하학적 손실과 이미지 수준의 감독을 적용하여 다양한 시야 간의 깊이 정확도와 일致성을 향상시킨다.
• 3D 컨볼루션 또는 복잡한 볼륨 학습이 필요 없도록 표준 TSDF 융합을 사용하여 3D 표면 재구성한다.
• 자세 기반 프레임 순서 정렬을 통해 최대 8개의 소스 시야를 통합하여 깊이 추정의 강건성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 깊이 추정 향상을 중시함으로써 3D 컨볼루션 없이도 고정밀 3D 재구성을 달성할 수 있는가?
• RQ2 비용 볼륨에 기하학적 및 키프레임 메타데이터를 통합하면 깊이 예측 정확도에 어떤 영향을 미치는가?
• RQ3 2D CNN과 평면 스위프트 비용 볼륨을 사용한 방법이 3D 컨볼루션 기반 방법보다 깊이 및 재구성 품질에서 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ4 2D 네트워크와 표준 융합을 사용하는 기본적인 접근 방식이 실제 환경에서 엔드 투 엔드 3D 볼륨 학습 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ5 이 방법은 제약이 없는, 일상적으로 촬영된 데이터, 특히 실외 환경과 스마트폰 영상에 대해 일반화 가능한가?

주요 결과

• SimpleRecon은 ScanNetv2에서 최신 기술 수준의 깊이 추정 성능을 달성했으며, 절대 차이(Abs Diff)는 0.0885, delta < 1.05 정확도는 73.16%를 기록했다.
• 표준 TSDF 융합을 사용하여 ScanNet과 7-Scenes에서 현재 최고의 3D 재구성 성능를 유지하거나 초월했으며, Chamfer 거리 5.81과 F-score 67.1을 달성했다.
• 제거 실험 결과, 비용 볼륨에 메타데이터(예: 자세 거리, 레이 방향, 깊이, 마스크)를 추가하면 기준 모델 대비 Abs Diff가 0.0056 감소하여 정확도가 크게 향상됨을 확인했다.
• 2개의 프레임에서 8개의 정렬된 프레임으로 증가시킬 경우, delta < 1.05 점수는 57.15%에서 73.16%로 상승하여 더 많은 시야에서의 강력한 확장성 잠재력을 입증했다.
• 이 방법은 실외 환경과 스마트폰으로 촬영한 영상과 같은 새로운 데이터에 대해 잘 일반화되며, 실시간으로 고품질 메시 재구성을 가능하게 한다.
• 비용 볼륨을 제거(단일 시야로 전환)할 경우 성능이 극적으로 악화됨(Abs Diff = 0.1742)하여, 척도 인식 가능한 깊이 추정을 위해 다중 시야 비용 볼륨이 반드시 필요함을 입증했다.