[논문 리뷰] Transient Neural Radiance Fields for Lidar View Synthesis and 3D Reconstruction

Anagh Malik, Parsa Mirdehghan외 3명|arXiv (Cornell University)|2023. 07. 14.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 단일 광자 라이다 데이터에서 일시적 광자 도착 히스토GRAM을 사용하여 3차원 재구성 및 시각 합성에 대한 새로운 방법인 일시적 신경 레디언스 필드(Transient NeRF)를 제안한다. 시간 도착 분포를 신경 레디언스 필드로 모델링함으로써, 희박하고 저 SNR인 라이다 측정값에서도 고해상도 3차원 재구성과 새로운 시점 합성을 가능하게 하며, 6개의 실세계 환경이 포함된 새로운 360° 촬영 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Neural radiance fields (NeRFs) have become a ubiquitous tool for modeling scene appearance and geometry from multiview imagery. Recent work has also begun to explore how to use additional supervision from lidar or depth sensor measurements in the NeRF framework. However, previous lidar-supervised NeRFs focus on rendering conventional camera imagery and use lidar-derived point cloud data as auxiliary supervision; thus, they fail to incorporate the underlying image formation model of the lidar. Here, we propose a novel method for rendering transient NeRFs that take as input the raw, time-resolved photon count histograms measured by a single-photon lidar system, and we seek to render such histograms from novel views. Different from conventional NeRFs, the approach relies on a time-resolved version of the volume rendering equation to render the lidar measurements and capture transient light transport phenomena at picosecond timescales. We evaluate our method on a first-of-its-kind dataset of simulated and captured transient multiview scans from a prototype single-photon lidar. Overall, our work brings NeRFs to a new dimension of imaging at transient timescales, newly enabling rendering of transient imagery from novel views. Additionally, we show that our approach recovers improved geometry and conventional appearance compared to point cloud-based supervision when training on few input viewpoints. Transient NeRFs may be especially useful for applications which seek to simulate raw lidar measurements for downstream tasks in autonomous driving, robotics, and remote sensing.

연구 동기 및 목표

• 제한된 시점 수에서 희박하고 저신호의 단일 광자 라이다 측정값으로 고품질 3차원 환경를 재구성하는 과제를 해결한다.
• 신경 렌더링을 통해 일시적 광자 도착 데이터에서 정확한 새로운 시점 합성과 깊이 추정을 가능하게 한다.
• 자체 제작한 단일 광자 라이다 시스템을 사용해 6개의 실세계 환경을 촬영한 새로운 360° 촬영 데이터셋을 구축한다.
• 시간 도착 분포를 신경 레디언스 필드로 모델링하여 재구성 정밀도와 시각 합성 품질을 향상시킨다.
• 교정된 하드웨어 프로토타입을 사용해 다양한 재질, 질감 및 기하학적 형태에서의 방법의 강인성을 입증한다.

제안 방법

• 펄스 레이저(532 nm, 35 ps 펄스), 2D 스캐닝 미러, TCSPC를 사용한 SPAD를 활용해 단일 광자 라이다 시스템을 구축하며, 8 ps 해상도로 1500개의 시간 버킷에 걸쳐 광자 도착 타임스탬프를 측정한다.
• 각 환경를 18° 간격으로 로테이션 스테이지에서 360° 시점을 촬영하며, 각 환경에 대해 총 20분의 노출 시간을 확보한다.
• raxel 모델과 이동 스테이지에 놓인 체크아웃 체스보드를 사용해 카메라 내부 파ram을 교정하며, 서브픽셀 수준의 모서리 정밀 조정과 다항식 피팅을 통해 광학 왜곡을 보정한다.
• 외부 파ram을 추정하기 위해 이중 단계 절차를 사용한다: 먼저 점군에 대해 거칠게 평면 피팅을 수행하고, 이후 로드리그스 회전 공식을 사용해 3차원 체스보드 모서리 정렬을 최적화한다.
• 일시적 광자 히스토GRAM에서 시간 도착 정보를 입력 특성로 포함하여 부피 밀도와 시점 의존적 색상 예측을 수행하는 신경 레디언스 필드를 훈련시킨다.
• 깊이에 대한 L1 손실과 새로운 시점 합성에 대한 인지 손실(LPIPS, SSIM)을 최소화하는 유연한 렌더링 손실을 사용해 네트워크를 최적화한다.

실험 결과

연구 질문

• RQ1 단일 광자 라이다에서의 일시적 광자 도착 히스토GRAM을 효과적으로 신경 레디언스 필드로 모델링하여 고해상도 3차원 재구성과 시각 합성을 가능하게 할 수 있는가?
• RQ2 기존의 NeRF 기반 접근법과 비교해 실제 라이다 데이터에서의 시각 합성 품질과 깊이 정확도 측면에서 제안된 Transient NeRF 방법은 어떠한가?
• RQ3 희박하고 저 SNR 측정값에서 재구성하기 위해, 시간 도착 정보를 신경 레디언스 필드의 입력으로 사용할 경우 어떤 영향을 미치는가?
• RQ4 제한된 시점 샘플링 조건에서 다양한 환경 기하학, 재질 및 질감에 대해 이 방법은 얼마나 강인한가?
• RQ5 교정된 하드웨어 시스템과 촬영된 데이터셋이 일시적 라이다 재구성 분야에서 일반화 및 벤치마킹을 얼마나 잘 지원할 수 있는가?

주요 결과

• 제안된 Transient NeRF는 새로운 360° 촬영 데이터셋에서 최신 기술 수준의 성능을 달성하며, 5개 시점 기준 평균 LPIPS는 0.172, SSIM는 0.872로, Instant NGP, DS-NeRF, Urban NeRF 기준선보다 뚜렷이 뛰어나다.
• 깊이 추정 측면에서, 이 방법은 5개 시점 기준 평균 L1 깊이 오차 0.006 m를 기록하며, 동일한 데이터셋에서 다음 기준선(0.014 m)보다 45% 향상된 성능을 보였다.
• '부츠' 환경에서 이 방법은 5개 시점 기준 SSIM 0.914, LPIPS 0.155를 기록하여 도전적인 질감과 반사 표면에서도 뛰어난 성능을 보였다.
• 오직 2개의 시점만을 사용할 경우, 두 번째로 우수한 기준선(Urban NeRF w/Mask) 대비 L1 깊이 오차를 50% 이상 감소시켜 희박한 입력에서도 강력한 일반화 능력을 입증했다.
• 교정 파이프라인은 중심과 회전축을 서브 밀리미터 정밀도로 성공적으로 추정하여, 모든 360° 시점 간 정확한 외부 정렬을 가능하게 했다.
• 1500개의 시간 버킷(8 ps 해상도), 18° 시점 간격으로 촬영된 데이터셋은 고해상도 재구성에 적합하며, 향후 일시적 라이다 재구성 연구의 기준 벤치마크로 기능한다.