[논문 리뷰] Steady-state Non-Line-of-Sight Imaging

Wenzheng Chen, Simon Daneau외 2명|arXiv (Cornell University)|2018. 11. 24.

Advanced Optical Sensing Technologies참고 문헌 52인용 수 8

한 줄 요약

이 논문은 전통적인 RGB 카메라와 연속 조명을 사용하여 은폐된 물체를 재구성하는 새로운 정적인 비선형 시각화(NLOS) 방법을 제안한다. 이 방법은 은폐된 표면의 방향성 반사로 인해 발생하는 간접 반사의 공간적 변동성을 이용하여, 시간 샘플링 없이 고해상도의 색상 NLOS 재구성을 가능하게 한다. 합성 데이터에 기반한 딥 뉴럴 네트워크를 훈련시켜, 소비자용 센서로도 빠르고 고성능의 영상 촬영을 실현하였으며, 평면 및 복잡한 확산 물체(예: 3cm 크기의 마네킹)에 대해 실험적으로 검증되었다.

ABSTRACT

Conventional intensity cameras recover objects in the direct line-of-sight of the camera, whereas occluded scene parts are considered lost in this process. Non-line-of-sight imaging (NLOS) aims at recovering these occluded objects by analyzing their indirect reflections on visible scene surfaces. Existing NLOS methods temporally probe the indirect light transport to unmix light paths based on their travel time, which mandates specialized instrumentation that suffers from low photon efficiency, high cost, and mechanical scanning. We depart from temporal probing and demonstrate steady-state NLOS imaging using conventional intensity sensors and continuous illumination. Instead of assuming perfectly isotropic scattering, the proposed method exploits directionality in the hidden surface reflectance, resulting in (small) spatial variation of their indirect reflections for varying illumination. To tackle the shape-dependence of these variations, we propose a trainable architecture which learns to map diffuse indirect reflections to scene reflectance using only synthetic training data. Relying on consumer color image sensors, with high fill factor, high quantum efficiency and low read-out noise, we demonstrate high-fidelity color NLOS imaging for scene configurations tackled before with picosecond time resolution.

연구 동기 및 목표

• 피코초 레이저와 SPAD 검출기와 같은 고비용이며 저광자 효율의 장비가 필요한 시간 해상도 기반 NLOS 영상 기술의 한계를 극복하기 위해.
• 시간 샘플링과 관련된 하드웨어 제약을 피하고 표준 강도 센서 및 연속 조명을 사용하여 고해상도의 전색 NLOS 영상 재구성을 가능하게 하기 위해.
• 은폐된 장면 표면의 방향성 반사로 인해 발생하는 공간적으로 변동하는 간접 반사를 이용하여 형상과 반사 특성 정보를 인코딩하기 위해.
• 실제 실험 촬영 데이터에 대해 다양한 형상과 반사 특성을 가진 물체에 대해 일반화할 수 있는, 합성 데이터에만 기반한 학습 가능한 아키텍처를 개발하기 위해.
• 소비자용 센서로도 최신 펄스 기반 시스템과 비교해 유사한 성능을 달성할 수 있는 정적 NLOS 영상 촬영이 가능함을 입증하기 위해.

제안 방법

• 비등방성 반사로 인한 간접 반사의 공간 조절을 활용하여 레이 트레이싱을 피하는 정적 NLOS 영상 형성 모델을 수립한다.
• 반사율이 알려진 평면 장면에 대해 최적화 기반 재구성 방법을 유도하여, 학습 없이도 빠르고 상호작용 가능한 재구성 시간(~1초)을 제공한다.
• 확산 간접 반사에서 장면의 반사율과 기하학적 형상을 재구성하는 트레이너블 딥 뉴럴 네트워크를 제안하며, 간접 빛 전달의 합성 렌더링에만 기반해 훈련한다.
• 합성 렌더링을 통해 시뮬레이션된 간접 반사 데이터셋을 사용하여 네트워크를 훈련시키며, 실제 실험 데이터에 일반화할 수 있도록 한다. 이 과정에서 실제 데이터의 레이블이 필요 없다.
• 갈바노 미러 시스템을 통해 반사성 벽면에 연속적인 백색 빛 레이저 빔을 스캐닝하고, 각 위치별로 50ms의 단일 노출 촬영을 통해 정적 반사를 수집한다.
• 고충실도, 고양자 효율, 저노이즈 소비자용 컬러 카메라(예: Allied Vision Prosilica GT 1930C)를 활용하여 전색 간접 반사를 촬영하고 재구성한다.

실험 결과

연구 질문

• RQ1 시간 샘플링이나 특수한 시간 해상도 검출기를 사용하지 않고도 고해상도 NLOS 영상 재구성을 달성할 수 있는가?
• RQ2 은폐된 표면의 방향성 반사로 인해 발생하는 간접 반사의 공간적 변동성을 활용하여 형상과 반사 특성 정보를 복원할 수 있는가?
• RQ3 합성 데이터에만 기반한 딥 러닝 모델이 복잡한 비평면형 및 확산 성질을 가진 은폐된 물체의 실제 실험 촬영 데이터에 일반화될 수 있는가?
• RQ4 기존의 RGB 카메라와 연속 조명만으로도 전색 NLOS 재구성을 달성할 수 있는가?
• RQ5 작거나 어두운 조명 조건에서조차 정적 간접 반사로부터 반사율과 깊이 정보를 회복할 수 있는가?

주요 결과

• 최적화 기반 접근법을 통해 잔여 확산 홀로 인한 영향이 있는 상태에서도, 약 1초 내외의 거의 상호작용 가능한 재구성 시간으로 평면 물체에 대해 고품질의 NLOS 재구성을 달성한다.
• 학습된 딥 뉴럴 네트워크는 확산 비평면 물체, 예를 들어 3cm 크기의 마네킹 인형의 실험 촬영 데이터에 대해 성공적으로 일반화되어, 어두운 간접 반사로부터도 근사적인 형상과 위치를 복원한다.
• 소비자용 RGB 센서를 사용하여 전색 NLOS 영상 재구성을 실현하였으며, 피코초 시간 해상도를 가진 최신 펄스 기반 시스템과 비교해 유사한 성능을 달성한다.
• 이 방법은 깊이 복원으로까지 일반화 가능하다: 동일한 네트워크 아키텍처를 깊이 맵에 대해 훈련시켜, 합성 및 실제 실험 데이터 모두에서 합리적인 깊이 맵을 재구성한다.
• 합성 훈련 데이터셋과 훈련된 모델이 공개되어 있어, 재현 가능성과 향후 벤치마킹에 기여한다.
• 레이저 스팟 5×5 그리드에 대해 총 촬영 시간 약 1.25초로, 실시간 영상 촬영 응용 분야에 대한 가능성을 입증한다.