[논문 리뷰] Real-time 3D reconstruction of complex scenes using single-photon lidar: when image processing meets computer graphics

Julián Tachella, Yoann Altmann외 6명|arXiv (Cornell University)|2019. 05. 16.

Advanced Optical Sensing Technologies참고 문헌 29인용 수 2

한 줄 요약

이 논문은 통계 모델과 확장 가능한 컴퓨터 그래픽스 알고리즘을 결합한 실시간 3D 재구성 프레임워크를 제안하며, 단일 광자 레이저 레인지파인더를 활용해 복잡한 혼잡한 환경에서 다중 표면이 픽셀당 존재하는 경우에도 외부 환경의 320m 이내 장면을 20ms 이내로 처리함으로써 실용적 응용을 위한 영상 속도 재구성을 가능하게 한다.

ABSTRACT

Single-photon lidar has emerged as a prime candidate technology for depth imaging through challenging environments. Until now, a major limitation has been the significant amount of time required for the analysis of the recorded data. Here we show a new computational framework for real-time three-dimensional (3D) scene reconstruction from single-photon data. By combining statistical models with highly scalable computational tools from the computer graphics community, we demonstrate 3D reconstruction of complex outdoor scenes with processing times of the order of 20 ms, where the lidar data was acquired in broad daylight from distances up to 320 metres. The proposed method can handle an unknown number of surfaces in each pixel, allowing for target detection and imaging through cluttered scenes. This enables robust, real-time target reconstruction of complex moving scenes, paving the way for single-photon lidar at video rates for practical 3D imaging applications.

연구 동기 및 목표

• 복잡한 환경에서 단일 광자 레이저 레인지파인더의 장시간 처리 시간이 실시간 응용을 제한하는 문제를 해결하기 위해.
• 다중 표면이 픽셀당 존재하는 혼잡한 움직이는 외부 환경의 3D 재구성을 안정적으로 가능하게 하기 위해.
• 확장 가능한 계산 기법을 활용해 3D 레이저 데이터의 20ms 이내 처리(영상 속도)를 달성하기 위해.
• 픽셀당 표면 수가 알려지지 않은 상태에서도 조밀한 혼잡 환경을 통해 목표물 탐지 및 이미징을 가능하게 하기 위해.
• 단일 광자 레이저를 사용해 넓은 일광 조건에서도 실용적인 실시간 3D 이미징을 구현하기 위해.

제안 방법

• 프레임워크는 단일 광자 반사 신호의 통계 모델과 컴퓨터 그래픽스에서 유래한 고도로 확장 가능한 렲팅 알고리즘을 통합한다.
• 복잡한 환경에서의 재구성을 가능하게 하기 위해 다중 표면 반사 픽셀을 확률적 접근 방식으로 모델링한다.
• 광자 타임스탬프와 공간 좌표에서 파생된 3D 기하 구조를 복셀 기반 표현 방식을 사용해 재구성한다.
• 다중 반사 영역을 분리하고 광자 데이터의 노이즈를 감소시키기 위해 고급 필터링 및 군집 기법을 적용한다.
• GPU 가속을 최적화한 계산 파이프라인을 통해 실시간 성능을 달성한다.
• 고역동 범위와 낮은 신호 대 잡음 비율을 갖는 단일 광자 레이저 센서의 데이터를 처리한다.

실험 결과

연구 질문

• RQ1 복잡한 외부 환경에서 단일 광자 레이저 데이터를 실시간으로 처리할 수 있는가?
• RQ2 혼잡한 환경에서 픽셀당 다중 표면을 정확하게 재구성할 수 있는가?
• RQ3 3D 레이저 데이터의 20ms 이내 처리를 가능하게 하는 계산 기법은 무엇인가?
• RQ4 단일 광자 레이저를 사용해 넓은 일광 조건에서도 견고한 목표물 탐지 및 이미징을 달성할 수 있는가?
• RQ5 확장 가능한 컴퓨터 그래픽스 알고리즘이 희박한 광자 데이터로부터 3D 재구성을 가속화하는 데 어떤 역할을 하는가?

주요 결과

• 프레임당 20ms 이내로 3D 장면 재구성을 달성하여 영상 속도 처리를 가능하게 한다.
• 이 방법은 넓은 일광 조건에서 최대 320미터 거리의 복잡한 외부 환경을 성공적으로 재구성한다.
• 픽셀당 표면 수가 알려지지 않은 상태에서도 이를 처리하여 혼잡한 환경을 정확히 이미징할 수 있다.
• 움직이는 장면의 안정적인 재구성을 가능하게 하여 실용적인 실시간 성능을 입증한다.
• 통계 모델링과 컴퓨터 그래픽스 기법의 통합이 재구성 품질을 희생시키지 않은 채 처리 속도를 크게 향상시킨다.