[논문 리뷰] Real-time Non-line-of-Sight imaging of dynamic scenes

Ji Hyun Nam, Eric Brandt외 4명|arXiv (Cornell University)|2020. 10. 24.

Advanced Optical Sensing Technologies참고 문헌 19인용 수 7

한 줄 요약

이 논문은 28픽셀 SPAD 어레이와 확장된 Phasor Field 재구성 알고리즘을 사용하여 실시간 비선형 시선(NLOS) 영상 재구성 시스템을 제안한다. 신호 대 잡음비(SNR), 운동 흐림, 각도 해상도, 깊이 해상도를 장면 크기로부터 분리함으로써, 일반적인(비반사성) 동적 장면에 대해 실시간 영상을 구현한다. 이 방법은 이전에 작은 장면과 낮은 신호 효율성으로 인해 제한되었던 실시간 NLOS 영상 촬영의 한계를 초월한다.

ABSTRACT

Non-Line-of-Sight (NLOS) imaging aims at recovering the 3D geometry of objects that are hidden from the direct line of sight. In the past, this method has suffered from the weak available multibounce signal limiting scene size, capture speed, and reconstruction quality. While algorithms capable of reconstructing scenes at several frames per second have been demonstrated, real-time NLOS video has only been demonstrated for retro-reflective objects where the NLOS signal strength is enhanced by 4 orders of magnitude or more. Furthermore, it has also been noted that the signal-to-noise ratio of reconstructions in NLOS methods drops quickly with distance and past reconstructions, therefore, have been limited to small scenes with depths of few meters. Actual models of noise and resolution in the scene have been simplistic, ignoring many of the complexities of the problem. We show that SPAD (Single-Photon Avalanche Diode) array detectors with a total of just 28 pixels combined with a specifically extended Phasor Field reconstruction algorithm can reconstruct live real-time videos of non-retro-reflective NLOS scenes. We provide an analysis of the Signal-to-Noise-Ratio (SNR) of our reconstructions and show that for our method it is possible to reconstruct the scene such that SNR, motion blur, angular resolution, and depth resolution are all independent of scene size suggesting that reconstruction of very large scenes may be possible. In the future, the light efficiency for NLOS imaging systems can be improved further by adding more pixels to the sensor array.

연구 동기 및 목표

• 일般적인(비반사성) 장면에 대해 이전 NLOS 영상 기술이 분석 시간이 길고, 신호 효율성이 낮아 몇 분 또는 수십 초에 걸쳐야 했던 문제를 해결하기 위해.
• 이전에는 약한 다중 반사 신호로 인해 실현 가능하지 않았던, 동적 비반사성 물체에 대한 실시간 NLOS 영상 재구성 기능을 제공하기 위해.
• SNR, 운동 흐림, 각도 해상도, 깊이 해상도를 장면 크기로부터 분리함으로써, 대규모 장면의 재구성 가능성을 확보하기 위해.
• GPU에서 하드웨어 가속을 통한 재구성 기능을 활용하여 실시간 성능을 유지하는 계산 효율성이 높고, 다단계, 다스레드 파이프라인을 개발하기 위해.
• NLOS 영상에서 SNR 행동을 상세히 분석하여, 거리에 따른 잡음과 신호의 의존성이 단순한 1/r^4 감쇠 모델을 초월하여 비선형적임을 보여주고, 이를 적절히 모델링할 필요가 있음을 밝히기 위해.

제안 방법

• 시스템은 간접적인 빛 경로를 통해 리lay 표면를 통해 28픽셀 SPAD 어레이를 사용하여 단일 광자 시간 이벤트를 캡처한다.
• 실시간으로 포톤 데이터를 처리하기 위한 다단계, 다스레드 파이프라인: HydraHarp 하드웨어에서의 데이터 수집, T3 포맷 기록의 파싱, 주파수 도메인 히스토그램(FDH) 분할, GPU 가속을 통한 빠른 RSD 재구성, 디스플레이.
• Phasor Field 재구성은 시간 프레임 평균화를 포함하여 확장되어, 전체 3차원 부피에서 SNR를 안정화시키고 운동 흐림을 감소시킨다.
• FDH 분할은 사전 계산된 사인 및余현수 테이블과 OpenMP 병렬 처리를 사용하여 고성능 주파수 도메인 처리를 구현한다.
• RSD(Rapid Scene Reconstruction) 알고리즘은 사전 계산된 커널을 사용한 FFT 기반 컨볼루션을 수행하여 시간 도착 기반 포톤 데이터로부터 3차원 장면을 재구성한다.
• 깊이에 따라 조절되는 시간 평균화 방법은 여러 재구성된 이미지 슬라이스를 조합하여 일관된 SNR를 가진 안정적인 2D 영상 프레임을 생성한다.

실험 결과

연구 질문

• RQ1 극히 약한 다중 반사 신호가 존재하는 상황에서도 동적 비반사성 장면에 대해 실시간 NLOS 영상 재구성을 달성할 수 있는가?
• RQ2 고도로 발전된 재구성 및 감지 방법을 사용할 경우, NLOS 영상에서 신호 대 잡음비(SNR)가 장면 크기와 독립적으로 스케일링되는가?
• RQ3 거리에 따른 NLOS 신호 강도의 감쇠는 고전적인 1/r^4 모델과 어떻게 다른가? 이는 대규모 장면 재구성에 어떤 영향을 미치는가?
• RQ4 특히 이미지 형성 이전에 잡음이 도입되는 경우, NLOS 영상에서의 잡음 전파를 재구성 설계를 통해 정확히 모델링하고 완화할 수 있는가?
• RQ5 SPAD 어레이와 GPU 가속을 사용할 경우, NLOS 재구성에서 계산 효율성과 실시간 성능을 어느 정도 확보할 수 있는가?

주요 결과

• 28개의 SPAD 픽셀만으로도 동적 비반사성 장면에 대해 실시간 NLOS 영상 재구성을 달성하여, 이전 방법이 분석에 몇 분 또는 수십 초가 걸렸던 것을 고려할 때 큰 도약을 이룬다.
• SNR, 운동 흐림, 각도 해상도, 깊이 해상도가 모두 장면 크기와 독립적이므로, 향후 센서 확장에 따라 대규모 NLOS 영상 촬영이 가능함을 시사한다.
• 일반적인 재구성 거리에서 거리에 따른 신호 감쇠가 1/r^4보다 덜 심각함을 확인하여, 이전의 가정을 도전하고 더 큰 장면 재구성을 가능하게 한다.
• 시간 평균화를 통한 제안된 Phasor Field 재구성은 전체 3차원 부피에서 SNR를 안정화시켜 먼 거리 영역에서의 SNR 저하를 제거한다.
• 다단계, 다스레드 파이프라인은 최소한의 큐 지연을 유지하며 일관된 데이터 흐름을 확보하여, 매초 수 프레임의 연속 실시간 영상 출력을 가능하게 한다.
• 이 방법은 NLOS 영상에서의 잡음이 전통적인 카메라 잡음과 동일하지 않음을 보여주며, 재구성 이전에 도입되므로 이를 적절히 모델링해야 한다.