[논문 리뷰] Robust Non-line-of-sight Imaging with Single Photon Detectors

Felix Heide, Matthew O’Toole외 4명|arXiv (Cornell University)|2017. 11. 20.

Advanced Optical Sensing Technologies참고 문헌 24인용 수 10

한 줄 요약

이 논문은 단일 광자 검출기(스패드)를 사용하여 은폐된 장면의 부분적 가림을 처리하도록 특별히 설계된 비선형 시선(NLOS) 영상에 대한 강건한 알고리즘 프레임워크를 제안한다. 시간 해상도를 가진 광자 탐지와 고도화된 역영상 기법을 활용하여 시뮬레이션 및 실제 SPAD 기반 실험 모두에서 최신 기술 수준의 재구성 품질을 달성하며, 이전 방법에 비해 산산이 흩어지는 현상과 가림 효과에 대한 저항력이 크게 향상된다.

ABSTRACT

Imaging objects that are obscured by scattering and occlusion is an important challenge for many applications. For example, navigation and mapping capabilities of autonomous vehicles could be improved, vision in harsh weather conditions or under water could be facilitated, or search and rescue scenarios could become more effective. Unfortunately, conventional cameras cannot see around corners. Emerging, time-resolved computational imaging systems, however, have demonstrated first steps towards non-line-of-sight (NLOS) imaging. In this paper, we develop an algorithmic framework for NLOS imaging that is robust to partial occlusions within the hidden scenes. This is a common light transport effect, but not adequately handled by existing NLOS reconstruction algorithms, resulting in fundamental limitations in what types of scenes can be recovered. We demonstrate state-of-the-art NLOS reconstructions in simulation and with a prototype single photon avalanche diode (SPAD) based acquisition system.

연구 동기 및 목표

• 기존 NLOS 재구성 알고리즘의 기본적인 한계, 즉 은폐된 장면 내 부분적 가림을 다루는 데에 초점을 맞춘다.
• 산산이 흩어지는 현상과 가림이 함께 발생하는 현실적인 빛 전달 조건 하에서 NLOS 영상의 강건성을 향상시키는 것.
• 은폐된 장면의 일부가 차단되거나 조명이 불량한 경우에도 높은 재구성 정밀도를 유지할 수 있는 알고리즘 개발.
• 단일 광자 협폭 다이오드(SPAD) 센서를 사용한 시뮬레이션 환경과 실제 프로토타입 모두에서 방법을 검증하는 것.
• 낮은 신호 대 잡음비와 복잡한 산산이 흩어지는 조건에서 NLOS 영상의 최신 기술 수준 성능을 입증하는 것.

제안 방법

• 은폐된 장면의 간접적인 빛 경로를 캡처하기 위해 단일 광자 협폭 다이오드(SPAD)를 사용한 시간 해상도 광자 탐지 모델을 적용한다.
• 빛 전달 및 산산이 흩어지는 물리적 제약 조건을 통합하여 NLOS 재구성을 정규화된 역문제로 공식화한다.
• 시간 간격에 걸쳐 장면 기하학과 반사 성질을 일관되게 모델링함으로써 부분적 가림을 다룰 수 있는 강건한 최적화 프레임워크를 도입한다.
• 광자 경로를 시뮬레이션하기 위해 복사 에너지 전달 방정식 기반의 전방 모델을 사용하며, 다중 반사 및 가림을 포함한다.
• 낮은 광자 수 조건에서 재구성 품질을 향상시키기 위해 데이터 적합성 항과 희박성 유도 정규화를 조합한다.
• 노이즈와 불완전한 측정치가 존재하는 상황에서도 안정된 해에 수렴하는 반복 최적화 기법을 사용하여 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 기존 방법에서 다루지 못하는 일반적이지만 간과된 과제인 은폐된 장면 내 부분적 가림에 대해 NLOS 영상 재구성은 어떻게 강건하게 만들 수 있는가?
• RQ2 산산이 흩어지는 현상과 가림이 존재하는 조건에서 시간 해상도를 가진 단일 광자 탐지 기술은 재구성 품질을 얼마나 향상시킬 수 있는가?
• RQ3 통합된 알고리즘 프레임워크는 시뮬레이션 환경과 실제 환경 모두에서 높은 정밀도와 강건성을 유지할 수 있는가?
• RQ4 가림 패턴이 재구성 정확도에 미치는 영향은 무엇이며, 알고리즘은 다양한 정도의 장면 가림에 어떻게 적응할 수 있는가?
• RQ5 유사한 조건 하에서 제안된 방법은 이전 최신 기술 수준의 NLOS 재구성 기법과 정량적으로 어떻게 비교될 수 있는가?

주요 결과

• 제안된 알고리즘은 SPAD 기반 캡처 시스템을 사용한 시뮬레이션 및 실제 실험 모두에서 최신 기술 수준의 재구성 품질을 달성한다.
• 기존 알고리즘의 실패나 아티팩트 발생이 발생하는 상황에서도 부분적 가림에 대해 뛰어난 저항력을 보이며 높은 이미지 정밀도를 유지한다.
• 시간 해상도 광자 탐지와 물리적으로 탄탄한 역영상 프레임워크의 조합을 통해 강건성이 확보된다.
• 낮은 광자 수와 복잡한 산산이 흩어지는 환경에서도 효과적으로 처리하여 은폐된 물체의 더 명확한 재구성을 가능하게 한다.
• 정량적 비교 결과, 시뮬레이션 및 실제 데이터 모두에서 기존 방법 대비 구조 유사도가 향상되고 재구성 오차가 감소함을 입증한다.
• 프로토타입 시스템은 도전적인 조건에서도 은폐된 장면의 기하학적 구조와 반사 성질을 성공적으로 복원하여 이론적 실현 가능성과 실용성을 입증한다.