[논문 리뷰] Virtual Wave Optics for Non-Line-of-Sight Imaging

Xiaochun Liu, Ibón Guillén외 7명|arXiv (Cornell University)|2018. 10. 17.

Advanced Optical Sensing Technologies참고 문헌 18인용 수 7

한 줄 요약

이 논문은 빛의 전파를 페이저 필드 파동으로 모델링하여 비선형 시각(Non-Line-of-Sight, NLOS) 영상 기술을 위한 가상 파동광학을 제안한다. 이는 다중 산란, 가림, 다양한 물질을 포함한 복잡한 시점의 정확한 재구성 가능하게 한다. 레일리-좀머펠트 회절 적분을 활용해 NLOS 영상 문제를 가상의 선형 시각 문제로 재구성함으로써, 이전 기법들에 비해 더 빠르고 정확하며 강인한 성능을 달성하며, 잡음이 많은 실제 환경 조건에서도 일시적 영상 및 재초점화 기능을 구현할 수 있다.

ABSTRACT

Non-Line-of-Sight (NLOS) imaging allows to observe objects partially or fully occluded from direct view, by analyzing indirect diffuse reflections off a secondary, relay surface. Despite its many potential applications, existing methods lack practical usability due to several shared limitations, including the assumption of single scattering only, lack of occlusions, and Lambertian reflectance. We lift these limitations by transforming the NLOS problem into a virtual Line-Of-Sight (LOS) one. Since imaging information cannot be recovered from the irradiance arriving at the relay surface, we introduce the concept of the phasor field, a mathematical construct representing a fast variation in irradiance. We show that NLOS light transport can be modeled as the propagation of a phasor field wave, which can be solved accurately by the Rayleigh-Sommerfeld diffraction integral. We demonstrate for the first time NLOS reconstruction of complex scenes with strong multiply scattered and ambient light, arbitrary materials, large depth range, and occlusions. Our method handles these challenging cases without explicitly developing a light transport model. By leveraging existing fast algorithms, we outperform existing methods in terms of execution speed, computational complexity, and memory use. We believe that our approach will help unlock the potential of NLOS imaging, and the development of novel applications not restricted to lab conditions. For example, we demonstrate both refocusing and transient NLOS videos of real-world, complex scenes with large depth.

연구 동기 및 목표

• 기존 NLOS 영상 기법들이 단일 산란, 라운드 반사율, 가림이 없다는 가정을 하고 있음을 극복하기 위해.
• 복잡한 조명, 물질, 깊이 변화가 있는 실제 환경에서 실용적인 NLOS 영상 기술을 가능하게 하기 위해.
• 가상의 페이저 필드 표현을 도입하여 NLOS 영상과 전통적인 선형 시각 파동광학을 통합하기 위해.
• 명시적인 빛 전파 모델링 없이도 고성능 재구성을 달성하기 위해 기존에 알려진 파동 전파 알고리즘을 활용하기 위해.
• 어려운 혼잡한 시점에서 실시간 재초점화 및 일시적 NLOS 영상 재구성을 입증하기 위해.

제안 방법

• 빛 강도의 장기 평균에서의 편차를 나타내는 복소계수의 수학적 구조로 페이저 필드를 제안하며, 중계 벽에서 위상 정보를 유지한다.
• NLOS 빛 전파를 레일리-좀머펠트 회절 적분에 의해 제어되는 파동 전파로 모델링하여 파면의 진화를 정확하게 시뮬레이션할 수 있도록 한다.
• 프레넬 근사를 사용해 회절 적분을 2차원 컨볼루션으로 단순화하여 표준 영상 처리 기법을 활용한 빠른 계산을 가능하게 한다.
• 확산된 중계 벽을 가상의 입구로 간주하여 NLOS 문제를 알려진 위상정보를 가진 가상의 선형 시각 영상 시스템으로 변환한다.
• 명시적인 역모델링 없이도 측정된 데이터로부터 영상을 재구성하기 위해 기존의 파동 영상 연산자(예: 커널과의 컨볼루션)를 적용한다.
• 기존의 빠른 파동 기반 영상 알고리즘을 활용해 이전 방법들에 비해 계산 복잡도와 메모리 사용량을 감소시킨다.

실험 결과

연구 질문

• RQ1 NLOS 영상은 파동 기반의 가상 선형 시각 문제로 재구성될 수 있는가? 이는 강인성과 성능 향상에 기여하는가?
• RQ2 확산 표면 반사로 인해 위상 정보가 파손되는 상황에서도 NLOS 영상에서 위상 정보를 유지하고 활용할 수 있는가?
• RQ3 페이저 필드 형식은 실제 환경의 강한 다중 산만, 환경 조명, 다양한 물질 반사율을 처리할 수 있는가?
• RQ4 가상 파동광학 접근법은 기존 NLOS 방법들에 비해 속도, 정확도, 노이즈 내성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 이 방법은 복잡하고 가려진, 실험실 외 환경에서도 일시적 NLOS 영상 및 재초점화를 가능하게 하는가?

주요 결과

• 제안된 가상 파동광학 방법은 강한 다중 산만과 비균일한 배경 노이즈가 있는 시점에서 이전 방법들에 비해 뛰어난 재구성 품질을 달성한다.
• 노이즈가 많은 데이터셋에서 필터링된 역백프로젝션 및 디컨볼루션 기법보다 성능이 뛰어나며, 명시적인 노이즈 수준 추정 없이도 정확도를 유지한다.
• 실제 환경의 복잡한 시점에서 큰 깊이 범위와 가림이 있는 상황에서도 고화질의 재초점화 및 일시적 NLOS 영상 재구성을 가능하게 한다.
• 페이저 필드 형식은 전체 빛 전파 행렬을 명시적으로 구성하지 않아도 빛 전파를 정확하게 모델링할 수 있어 계산 복잡도를 감소시킨다.
• 비-라운드 물질과 복잡한 시점 기하학에 대해 강인하여 실험실 외 환경에서도 실용적인 사용 가능성을 입증한다.
• 프레넬 근사를 사용한 2차원 컨볼루션을 통한 재구성은 이전 방법들보다 빠른 실행 속도와 메모리 효율성을 확보한다.