[논문 리뷰] NeRF-Det: Learning Geometry-Aware Volumetric Representation for Multi-View 3D Object Detection

Chenfeng Xu, BoRui Wu외 9명|arXiv (Cornell University)|2023. 07. 27.

Advanced Neural Network Applications인용 수 4

한 줄 요약

NeRF-Det은 공유된 MLP를 통해 NeRF 브랜치와 검출 헤드를 함께 훈련시킴으로써, RGB 이미지만을 사용하여 기하학적 인식을 갖춘 부피 표현을 제안한다. 이는 각 씬에 대한 NeRF 최적화 없이도 SOTA 성능을 달성하며, mAP를 ScanNet에서 3.9점, ARKITScenes에서 3.1점 향상시키고, 일반화 가능한 새로운 시야 합성과 깊이 추정을 가능하게 한다.

ABSTRACT

We present NeRF-Det, a novel method for indoor 3D detection with posed RGB images as input. Unlike existing indoor 3D detection methods that struggle to model scene geometry, our method makes novel use of NeRF in an end-to-end manner to explicitly estimate 3D geometry, thereby improving 3D detection performance. Specifically, to avoid the significant extra latency associated with per-scene optimization of NeRF, we introduce sufficient geometry priors to enhance the generalizability of NeRF-MLP. Furthermore, we subtly connect the detection and NeRF branches through a shared MLP, enabling an efficient adaptation of NeRF to detection and yielding geometry-aware volumetric representations for 3D detection. Our method outperforms state-of-the-arts by 3.9 mAP and 3.1 mAP on the ScanNet and ARKITScenes benchmarks, respectively. We provide extensive analysis to shed light on how NeRF-Det works. As a result of our joint-training design, NeRF-Det is able to generalize well to unseen scenes for object detection, view synthesis, and depth estimation tasks without requiring per-scene optimization. Code is available at \url{https://github.com/facebookresearch/NeRF-Det}.

연구 동기 및 목표

• 깊이 센서 없이 RGB 이미지만을 사용하여 실내 환경에서 3D 객체 검출 문제를 해결한다.
• 기존 방법에서 애매한 3D 부피 표현에 의존하는 암묵적 기하 모델링의 한계를 극복한다.
• 각 씬 최적화의 지연 없이 NeRF의 강력한 기하 기대치를 3D 검출에 통합한다.
• 각 씬 재학습 없이도 검출, 새로운 시야 합성, 깊이 추정에 대해 일반화된 성능을 달성한다.
• NeRF와 검출 브랜치의 공동 훈련을 통해 다중 시야 일致성을 활용하여 검출 성능을 향상시킨다.

제안 방법

• NeRF와 검출 브랜치 간의 공유 MLP를 도입하여 NeRF에서 이미지 특징으로의 기울기 흐름을 가능하게 하여 기하학적 인식 표현을 향상시킨다.
• 저해상도 부피 특징 대신 고해상도 이미지 특징 맵에서 레이를 따라 특징을 샘플링하여 공간적 세부 정보를 유지한다.
• 공간 통계(평균 및 분산)와 색상 정보를 기하학적 사전 지식으로 추가하여 NeRF의 일반화 능력을 향상시킨다.
• 예측된 밀도 필드를 투명도 필드로 변환하고 부피 특징을 조절하여 공백 영역을 억제함으로써 검출 정확도를 향상시킨다.
• 사진적 일致성과 선택적 깊이 감독을 위해 다중 시야 일치를 위한 사진적 손실 함수와 함께 NeRF 및 검출 브랜치를 엔드 투 엔드로 훈련시킨다.
• 추론 단계에서 NeRF 브랜치를 제거하여 오버헤드를 최소화하면서도 기하학적 인식 특징을 검출에 유지한다.

실험 결과

연구 질문

• RQ1 각 씬 최적화 없이 효율성을 유지하면서 NeRF를 3D 객체 검출에 효과적으로 통합할 수 있는가?
• RQ2 NeRF와 검출 브랜치의 공동 훈련이 기하 모델링 및 검출 성능 향상에 어떻게 기여하는가?
• RQ3 이미지 수준의 기하 사전 지식(예: 평균, 분산, 색상)이 NeRF의 새로운 장면 일반화에 얼마나 기여하는가?
• RQ4 각 씬 최적화 없이도 NeRF 브랜치가 새로운 시야 합성과 깊이 추정에 일반화되는가?
• RQ5 사진적 손실과 깊이 감독이 검출에 기반한 NeRF 기하 학습에 상대적으로 어떤 기여를 하는가?

주요 결과

• ScanNet에서 NeRF-Det은 mAP@0.25 50.1, mAP@0.50 24.4를 달성하여 SOTA를 3.9 mAP 향상시켰다.
• ARKITScenes에서 NeRF-Det은 mAP@0.25 50.0, mAP@0.50 24.2를 달성하여 SOTA를 3.1 mAP 향상시켰다.
• 부피 특징 샘플링 대신 이미지 특징 샘플링을 사용함으로써 mAP가 0.7 증가하고, 새로운 시야 합성에서 PSNR가 1.58 향상되었다.
• 분산 및 색상 특징을 통합함으로써 평균 특징만 사용할 경우 대비 mAP@0.25는 0.7점, mAP@0.50는 0.6점 향상되었다.
• NeRF 브랜치는 새로운 장면으로의 일반화가 잘 되어 있으며, 각 씬 최적화 없이도 새로운 시야 합성에서 PSNR 20.51, 깊이 추정에서 RMSE 0.756을 달성했다.
• 검출 브랜치를 제거하면 NeRF 성능이 약간 향상되며(PSNR 20.94 대비 20.51), 이는 검출 브랜치가 NeRF에 유용한 저수준 세부 정보를 억제할 수 있음을 시사한다.