[논문 리뷰] Video super-resolution for single-photon LIDAR

Germán Mora Martín, Stirling Scholes외 4명|arXiv (Cornell University)|2022. 10. 19.

Advanced Optical Sensing Technologies인용 수 4

한 줄 요약

이 논문은 단일 광자 LIDAR 깊이 데이터의 3D 합성곱 신경망(CNN)을 제안하며, 합성 SPAD 기반 깊이 시퀀스로 훈련하여 해상도를 ×4로 증가시키고 노이즈를 제거한다. 이 방법은 GPU에서 30 FPS 이상의 실시간 성능을 달성하며, 최신 기술 대비 PSNR와 SSIM을 크게 향상시킨다. 특히, 미세조정 없이도 실제 실험 데이터에 적용해도 성능이 뛰어나다.

ABSTRACT

3D Time-of-Flight (ToF) image sensors are used widely in applications such as self-driving cars, Augmented Reality (AR) and robotics. When implemented with Single-Photon Avalanche Diodes (SPADs), compact, array format sensors can be made that offer accurate depth maps over long distances, without the need for mechanical scanning. However, array sizes tend to be small, leading to low lateral resolution, which combined with low Signal-to-Noise Ratio (SNR) levels under high ambient illumination, may lead to difficulties in scene interpretation. In this paper, we use synthetic depth sequences to train a 3D Convolutional Neural Network (CNN) for denoising and upscaling (x4) depth data. Experimental results, based on synthetic as well as real ToF data, are used to demonstrate the effectiveness of the scheme. With GPU acceleration, frames are processed at >30 frames per second, making the approach suitable for low-latency imaging, as required for obstacle avoidance.

연구 동기 및 목표

• 작은 SPAD 어레이 센서에서 유도되는 낮은 횡방향 해상도와 높은 노이즈 수준을 해결하기 위해.
• 연속 프레임 간의 시간적 상관관계를 활용하여 깊이 맵 품질을 향상시키는 영상 초해상도 프레임워크를 개발하기 위해.
• 실제 세계의 노이즈 및 해상도 제약 조건을 모방하는 합성 SPAD 데이터를 기반으로 딥 러닝 모델을 훈련시키기 위해.
• 자율주행 시스템의 장애물 회피에 적합한 실시간, 저지연 깊이 맵 향상 기능을 제공하기 위해.
• 모델의 강건성을 합성 및 실제 실험적 SPAD dToF 데이터 모두에 대해 평가하기 위해.

제안 방법

• 실제 시나리오를 모의하기 위해 AirSim 시뮬레이터를 Unreal Engine과 통합하여 다양한 신호 대 잡음비(SNR) 조건을 가진 합성 깊이 시퀀스를 생성하였다.
• 합성 데이터를 처리하여 SPAD 기반 깊이 측정 방식을 모의하였으며, 광자 노이즈와 낮은 SNR 조건을 포함하여 다양한 훈련 데이터셋을 구축하였다.
• 다중 저해상도 입력 프레임으로부터 고해상도 깊이 맵을 복원하기 위해 3D CNN 아키텍처를 훈련시켰으며, 공간-시간 특징 학습을 활용하였다.
• 네트워크는 연속 프레임 간의 공간적 및 시간적 상관관계를 활용하기 위해 3D 합성곱을 적용하여 개선된 특징 표현을 구현한다.
• 훈련은 실제 데이터를 전혀 사용하지 않고 합성 데이터에만 국한하여 수행되어 실제 환경 조건으로의 일반화를 가능하게 하였다.
• GPU를 활용한 추론 가속화로 30 FPS를 초과하는 프레임 속도를 달성하여 실시간 응용에 적합한 성능을 확보하였다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 영상 초해상도 기법이 단일 광자 LIDAR 깊이 맵의 해상도 향상과 노이즈 감소에 효과적으로 기여할 수 있는가?
• RQ2 낮은 SNR 조건에서 제안된 방법의 성능이 iSeeBetter와 같은 최신 기술 대비 어떻게 비교되는가?
• RQ3 합성 데이터로만 훈련된 모델이 실제 실험적 SPAD dToF 센서 데이터에 얼마나 잘 일반화되는가?
• RQ4 시간적 특징 융합을 효과적으로 수행하기 위해 객체의 서브픽셀 운동을 유지하기 위해 필요한 프레임 속도는 어느 정도인가?
• RQ5 단일 프레임 초해상도 대비 다수의 입력 프레임을 사용할 경우 재구성 품질 향상 정도는 어떠한가?

주요 결과

• 모든 테스트된 SNR 수준에서, 특히 최저 SNR 0.25에서도 iSeeBetter 기준선 대비 더 높은 PSNR와 SSIM 값을 기록하였다.
• 노이즈에 강건한 성능을 보이며, 매우 노이즈가 많은 낮은 SNR 조건에서도 세밀한 디테일과 부드러운 표면을 효과적으로 재구성하였다.
• 합성 데이터로만 훈련되었음에도 불구하고, 실제 SPAD dToF 센서 데이터에 대해 시각적으로 열등하고 시간적으로 더 일관된 초해상도 출력을 생성하였다.
• 실시간 성능을 유지하여 GPU에서 30 FPS 이상의 처리 속도를 확보하여 장애물 회피와 같은 저지연 응용에 적합하였다.
• 단일 프레임 초해상도 대비 다수의 입력 프레임을 사용할 경우, 특히 낮은 프레임 속도 조건에서 특징 재구성과 노이즈 제거 성능이 크게 향상되었다.
• 제거 분석 결과, 객체 이동량이 서브픽셀 수준을 초과하더라도 네트워크 성능이 안정적이며, 다이나믹 시나리오에 대한 강력한 일반화 능력을 입증하였다.