[논문 리뷰] Non-line-of-sight imaging off a Phong surface through deep learning

Chen Zhou, Chengyu Wang외 1명|arXiv (Cornell University)|2020. 04. 30.

Advanced Optical Sensing Technologies참고 문헌 1인용 수 7

한 줄 요약

이 논문은 손글씨 숫자 데이터셋으로 훈련된 신경망을 활용해 산란된 빛을 이용해 은폐된 물체를 재구성하는 딥러닝 기반 비선형 시선(Non-Line-of-Sight, NLOS) 영상 시스템을 제시한다. 이는 Phong 표면에서의 산란 빛을 기반으로 하며, 훈련 데이터에 포함되지 않은 패턴과 영상으로의 일반화 능력을 확보한다. 이 방법은 5%의 반사율조차도 갖는 표면에서 최대 SSIM 0.93의 높은 재구성 정밀도를 달성하며, 순수 라운드 반사 표면보다 우수한 성능을 보인다. 이는 단층값 스펙트럼의 넓이 향상 덕분이다.

ABSTRACT

A deep learning based non-line-of-sight (NLOS) imaging system is developed to image an occluded object off a scattering surface. The neural net is trained using only handwritten digits, and yet exhibits capability to reconstruct patterns distinct from the training set, including physical objects. It can also reconstruct a cartoon video from its scattering patterns in real time, demonstrating the robustness and generalization capability of the deep learning based approach. Several scattering surfaces with varying degree of Lambertian and specular contributions were examined experimentally; it is found that for a Lambertian surface the structural similarity index (SSIM) of reconstructed images is about 0.63, while the SSIM obtained from a scattering surface possessing a specular component can be as high as 0.93. A forward model of light transport was developed based on the Phong scattering model. Scattering patterns from Phong surfaces with different degrees of specular contribution were numerically simulated. It is found that a specular contribution of as small as 5% can enhance the SSIM from 0.83 to 0.93, consistent with the results from experimental data. Singular value spectra of the underlying transfer matrix were calculated for various Phong surfaces. As the weight and the shininess factor increase, i.e., the specular contribution increases, the singular value spectrum broadens and the 50-dB bandwidth is increased by more than 4X with a 10% specular contribution, which indicates that at the presence of even a small amount of specular contribution the NLOS measurement can retain significantly more singular value components, leading to higher reconstruction fidelity. With an ordinary camera and incoherent light source, this work enables a low-cost, real-time NLOS imaging system without the need of an explicit physical model of the underlying light transport process.

연구 동기 및 목표

• 빛 전달의 명시적 물리 모델링이 필요 없이 저비용이고 실시간 동작이 가능한 NLOS 영상 시스템을 개발하는 것.
• Phong 산란 표면의 반사 성분이 NLOS 재구성 정밀도에 미치는 영향을 조사하는 것.
• 간단한 데이터셋(예: 손글씨 숫자)으로 훈련된 딥러닝 모델이 복잡한 새로운 물체와 동적 장면으로의 일반화 능력을 평가하는 것.
• 반사율 증가가 빛 전달 행렬의 단층값 스펙트럼에 미치는 영향과 그 재구성 품질에 대한 영향을 정량화하는 것.

제안 방법

• 딥 뉴럴 네트워크는 손글씨 숫자에서 유도된 합성 산란 패턴만을 사용해 훈련된다. 이는 Phong 기반 빛 전달 모델에 기반한다.
• Phong 산란 모델을 사용해 라운드 반사 성분과 반사 성분이 다른 표면에서의 빛 전달을 시뮬레이션한다.
• 수치 시뮬레이션을 통해 다양한 반사 기여도(0%에서 100%까지)에 따른 산란 패턴을 생성하고, 이를 네트워크의 훈련 및 평가에 사용한다.
• 실제 물리적 표면에서 제어된 반사 특성을 가진 산란 패턴을 이용해 네트워크를 테스트하여 정적 패턴과 동적 만화 영상의 실시간 재구성 기능을 확보한다.
• 빛 전달 행렬의 단층값 분해(Singular Value Decomposition, SVD)를 적용하여 반사 성분 증가가 단층값 분포와 대역폭에 미치는 영향을 분석한다.
• 일반 카메라와 비구형 빛원천만을 사용하는 시스템으로, 전용 하드웨어나 명시적 물리 모델링이 필요 없도록 설계된다.

실험 결과

연구 질문

• RQ1 간단한 손글씨 숫자 데이터셋으로 훈련된 딥러닝 모델이 비선형 시선 영상에서 새로운 물리적 물체를 재구성하는 데 일반화 가능한가?
• RQ2 Phong 표면의 반사 성분 존재가 NLOS 영상 재구성 품질에 어떤 영향을 미치는가?
• RQ3 반사 성분 증가에 따라 빛 전달 행렬의 단층값 스펙트럼이 얼마나 변화하는가? 이는 재구성 정밀도에 어떤 영향을 미치는가?
• RQ4 딥러닝 기반 접근법이 빛 전달의 명시적 물리 모델링 없이도 실시간 NLOS 영상 촬영을 가능하게 하는가?

주요 결과

• 딥러닝 모델은 순수 라운드 반사 표면에서 구조적 유사도 지수(SSIM) 0.63을 기록하며, 반사 성분이 존재할 경우 0.93으로 크게 향상된다.
• 단지 5%의 반사 기여도만으로도 SSIM이 0.83에서 0.93으로 상승하여, 미미한 반사 성분이 재구성 품질 향상에 크게 기여함을 입증한다.
• 반사 성분 증가에 따라 단층값 스펙트럼이 넓어지며, 10% 반사율 조건에서 50-dB 대역폭이 400% 이상 증가한다.
• 모델은 실시간으로 산란 패턴에서 만화 영상을 재구성하여, 훈련 데이터 외의 복잡한 시나리오에 대한 강건성과 일반화 능력을 확인한다.
• 일반 카메라와 비구형 빛원천만으로도 실시간 저비용 NLOS 영상 촬영이 가능하며, 빛 전달의 명시적 물리 모델링이 필요 없다.
• 결과적으로 반사 성분이 산란 표면에 존재할 경우 빛 전달 행렬 내에서 더 많은 단층값 성분을 유지할 수 있어 더 높은 정밀도의 재구성가 가능하다는 점을 보여준다.