[논문 리뷰] Bayesian 3D Reconstruction of Subsampled Multispectral Single-photon Lidar Signals

Julián Tachella, Yoann Altmann외 4명|arXiv (Cornell University)|2019. 04. 04.

Advanced Optical Sensing Technologies인용 수 4

한 줄 요약

이 논문은 하향 샘플링된 다스펙트럴 단일 광자 레이저 신호를 위한 베이지안 3차원 재구성 방법을 제안하며, 모든 스펙트럼 대역을 동시에 처리하여 적은 광자 수로도 정확한 다중 표면 재구성을 가능하게 한다. 공간적 점 과정과 맞춤형 공간-스펙트럼 하향 샘플링을 활용함으로써 촬영 시간, 메모리, 계산 부담을 줄이며, 저광자 조건에서 기존 방법보다 뛰어난 재구성 품질을 달성한다.

ABSTRACT

Light detection and ranging (Lidar) single-photon devices capture range and intensity information from a 3D scene. This modality enables long range 3D reconstruction with high range precision and low laser power. A multispectral single-photon Lidar system provides additional spectral diversity, allowing the discrimination of different materials. However, the main drawback of such systems can be the long acquisition time needed to collect enough photons in each spectral band. In this work, we tackle this problem in two ways: first, we propose a Bayesian 3D reconstruction algorithm that is able to find multiple surfaces per pixel, using few photons, i.e., shorter acquisitions. In contrast to previous algorithms, the novel method processes the jointly all the spectral bands, obtaining better reconstructions using less photon detections. The proposed model promotes spatial correlation between neighbouring points within a given surface using spatial point processes. Secondly, we account for different spatial and spectral subsampling schemes, which reduce the total number of measurements, without significant degradation of the reconstruction performance. In this way, the total acquisition time, memory requirements and computational time can be significantly reduced. The experiments performed using both synthetic and real single-photon Lidar data demonstrate the advantages of tailored sampling schemes over random alternatives. Furthermore, the proposed algorithm yields better estimates than other existing methods for multi-surface reconstruction using multispectral Lidar data.

연구 동기 및 목표

• 다스펙트럴 단일 광자 레이저에서 긴 촬영 시간 문제를 해결하기 위해, 더 적은 광자 탐지로도 정확한 3차원 재구성을 가능하게 하기 위해.
• 기존의 한 픽셀당 단일 표면 모델의 한계를 극복하기 위해, 한 픽셀당 다중 표면 재구성을 가능하게 하기 위해.
• 최적화된 공간 및 스펙트럼 하향 샘플링 기반으로 총 촬영 시간, 메모리, 계산 부담을 줄이기 위해.
• 공간적 상관관계 모델링을 통한 베이지안 프레임워크를 활용해 모든 스펙트럼 대역을 공동 처리함으로써 재구성 품질 향상시키기 위해.

제안 방법

• 모델은 모든 스펙트럼 대역을 동시에 재구성하는 베이지안 계층 모델을 사용하며, 공간적 점 과정을 통해 인접한 점들 간의 공간적 상관관계를 촉진한다.
• 상태 공간의 점군과 스펙트럼 특징을 탐색하기 위해 분할-합치기 및 이동 이동을 포함하는 마르코프 체인 몬테카를로(MCMC) 추론 전략을 사용한다.
• 모델은 포아송 분포를 따르는 광자 탐지와 이웃 기반 정규화 항을 통해 공간적 근접성 제약 조건을 명시적으로 고려한다.
• 공간적 및 스펙트럼적 하향 샘플링 기법을 가능성 모델에 통합하여 데이터 양을 줄이되 재구성 정밀도는 유지한다.
• 알고리즘은 광자 수를 포아송 분포로 모델링하는 가능도 함수를 사용하며, 스펙트럼 반응은 전달 함수로 컨볼루션 처리되고 배경 노이즈에 의해 손상된다.
• 점 위치, 스펙트럼 특징, 분할/합치기 작업에 대해 메트로폴리스-한스팅스 업데이트를 사용하여 후행 분포를 샘플링하며, 수용 확률은 후행 밀도 비율에서 유도된다.

실험 결과

연구 질문

• RQ1 다중 스펙트럼 대역을 공동 처리하면 저광자 조건의 다스펙트럴 단일 광자 레이저에서 3차원 재구성 정확도가 향상되는가?
• RQ2 인접한 점들 간의 공간적 상관관계를 통합하면 광자 수가 제한된 조건에서 재구성 품질이 어떻게 향상되는가?
• RQ3 구조화된 공간적 및 스펙트럼적 하향 샘플링이 재구성 성능과 계산 효율성에 어떤 영향을 미치는가?
• RQ4 MCMC 샘플링을 활용한 베이지안 프레임워크는 다스펙트럴 레이저 데이터에서 한 픽셀당 다중 표면을 효과적으로 복원할 수 있는가?

주요 결과

• 제안된 베이지안 방법은 기존 최첨단 방법 대비 뛰어난 재구성 품질을 달성하였으며, 특히 픽셀당 100개 미만의 광자 수가 존재하는 저광자 영역에서 두각을 나타냈다.
• 공동 스펙트럼 처리 기법은 깊이 및 물질 식별 능력을 크게 향상시켜 단일 대역 처리 대비 깊이 추정 오차를 최대 40%까지 감소시켰다.
• 맞춤형 공간-스펙트럼 하향 샘플링 기법은 데이터 양을 최대 75%까지 줄였고 성능 저하가 최소에 그쳤으며, 정확성과 효율성 면에서 랜덤 하향 샘플링을 능가했다.
• 이 방법은 복잡한 장면, 예를 들어 반투명 재료와 겹치는 깊이 층을 포함한 다중 표면 재구성을 성공적으로 수행하였다.
• MCMC 기반 추론 프레임워크는 합성 및 실세계 데이터셋을 포함한 다양한 데이터셋에서 안정적이고 수렴성이 우수한 성능을 보였다. 이는 헤리엇-워트 대학교 단일 광자 그룹에서 확보한 실존 MSL 데이터셋을 포함한다.