[논문 리뷰] Efficient Non-Line-of-Sight Imaging from Transient Sinograms

Mariko Isogawa, Dorian Chan외 3명|arXiv (Cornell University)|2020. 08. 06.

Advanced Optical Sensing Technologies참고 문헌 33인용 수 4

한 줄 요약

이 논문은 선형 비가시성(Non-Line-of-Sight, NLOS) 영상에서 촬영 시간과 계산 부하를 줄이기 위해 정현파 임시 측정값—즉, '임시 시노그램'으로 불리는—을 활용하는 원형 및 공초점 비가시성(Confocal) 촬영 방법(C²NLOS)을 제안한다. 이 방법은 이전 최첨단 기술에 비해 사용하는 측정값의 1.6%만으로도 효율적인 3차원 위치 추정 및 2차원/3차원 영상 복원을 가능하게 한다.

ABSTRACT

Non-line-of-sight (NLOS) imaging techniques use light that diffusely reflects off of visible surfaces (e.g., walls) to see around corners. One approach involves using pulsed lasers and ultrafast sensors to measure the travel time of multiply scattered light. Unlike existing NLOS techniques that generally require densely raster scanning points across the entirety of a relay wall, we explore a more efficient form of NLOS scanning that reduces both acquisition times and computational requirements. We propose a circular and confocal non-line-of-sight (C2NLOS) scan that involves illuminating and imaging a common point, and scanning this point in a circular path along a wall. We observe that (1) these C2NLOS measurements consist of a superposition of sinusoids, which we refer to as a transient sinogram, (2) there exists computationally efficient reconstruction procedures that transform these sinusoidal measurements into 3D positions of hidden scatterers or NLOS images of hidden objects, and (3) despite operating on an order of magnitude fewer measurements than previous approaches, these C2NLOS scans provide sufficient information about the hidden scene to solve these different NLOS imaging tasks. We show results from both simulated and real C2NLOS scans.

연구 동기 및 목표

• 비가시성(NLOS) 영상 촬영에 필요한 측정값 수를 줄이면서도 복원 품질을 유지하고자 한다.
• 계산적으로 효율적인 은폐된 장면 복원을 지원하는 최소한의 측정값 집합을 규명하고자 한다.
• 계속된 벽면에서 원형 스캔 패턴이 비가시성 영상 작업에 필요한 충분한 정보를 제공할 수 있는지 탐구하고자 한다.
• 임시 측정값의 정현파적 구조를 활용해 속도와 정확도를 높이는 복원 알고리즘을 개발하고자 한다.
• 이전에 요구되었던 것보다 훨씬 적은 측정값으로도 고품질의 3차원 위치 추정 및 영상 복원이 가능함을 입증하고자 한다.

제안 방법

• 레이저 소스와 센서가 동일한 위치에 위치하고, 가시적인 계속된 벽면의 원형 경로를 따라 단일 점을 스캔하는 원형 및 공초점 스캔 전략을 제안한다.
• C²NLOS에서의 임시 측정값은 다중 산란된 빛의 기하학적 및 시간적 응답으로 인해 정현파의 초월을 이루며, 이를 '임시 시노그램'이라 칭한다.
• 임시 시노그램의 정현파 성분에서 주파수, 진폭, 그리고 단위를 추정함으로써 이심 투표(Hough voting) 절차를 통해 이산 산란체를 국소화한다.
• 임시 시노그램을 은폐된 장면의 투영으로 간주하여 역라돈 변환 기법을 적용함으로써 평면 은폐 물체의 2차원 영상 복원을 수행한다.
• 선형 최소 제곱 최적화를 사용하여 대규모 평면 장면의 2차원 영상 복원을 수행함으로써 최소한의 계산 비용으로 빠르고 근사적인 복원을 가능하게 한다.
• 강한 사전 정보를 갖춘 ADMM 기반 최적화 프레임워크를 사용하여 3차원 부피 복원을 수행함으로써 임시 시노그램에서의 근사적 3차원 회복을 가능하게 한다.

실험 결과

연구 질문

• RQ1 계속된 벽면에서 원형 스캔 패턴이 래스터 스캔보다 더 적은 측정값으로도 은폐된 장면을 복원하는 데 필요한 충분한 임시 측정값을 제공할 수 있는가?
• RQ2 C²NLOS의 임시 측정값이 정현파적 구조를 띠며, 이로 인해 효율적인 복원 알고리즘이 가능해지는가?
• RQ3 임시 시노그램의 매개변수(주파수, 진폭, 단위)를 직접적으로 은폐된 산란체의 3차원 위치로 매핑할 수 있는가?
• RQ4 측정 차원이 감소한 상황에서도 C²NLOS의 임시 시노그램만으로도 2차원 및 3차원 은폐 장면 영상 복원이 가능한가?
• RQ5 LCT나 FK와 같은 기존 NLOS 방법과 비교할 때 C²NLOS의 계산 효율성과 복원 품질은 어떠한가?

주요 결과

• C²NLOS는 LCT나 FK 방법에 비해 촬영 시간의 1.6%만으로도 유사한 국소화 정확도를 달성하며, 평균 추정 오차는 동일 주요 오차 수준 내에 있다.
• 이심 투표 절차는 임시 시노그램의 정현파 매개변수를 활용하여 이산 산란체를 성공적으로 국소화함으로써 빠른 3차원 위치 복원을 가능하게 한다.
• 임시 시노그램에 역라돈 변환을 적용함으로써 평면 장면의 2차원 영상 복원이 가능하며, 이는 LCT나 FK와 유사한 시각적 품질을 확보하고도 훨씬 적은 측정값을 사용한다.
• C²NLOS 측정값에 대한 선형 최소 제곱 최적화는 LCT나 FK보다 SSIM가 略로 낮은 2차원 영상 복원을 제공하지만, 계산 속도는 50배 빠르다.
• 강한 사전 정보를 갖춘 ADMM 기반 최적화를 사용한 3차원 부피 복원은 은폐된 장면의 주요 구조적 특징(예: 깊이 및 자세)을 회복할 수 있으며, 복원 품질은 LCT나 FK보다 낮지만 가능하다.
• C²NLOS의 임시 시노그램은 스캔 반경을 조절하여 효과적 초점 깊이를 조정함으로써 비평면 물체(예: 토끼)의 근사적 3차원 외관을 복원하는 데 충분한 정보를 포함하고 있다.