[논문 리뷰] Two-Dimensional Non-Line-of-Sight Scene Estimation from a Single Edge Occluder

Sheila W. Seidel, John Murray–Bruce외 4명|arXiv (Cornell University)|2020. 01. 01.

Advanced Optical Sensing Technologies참고 문헌 36인용 수 46

한 줄 요약

본 논문은 벽 모서리에 의해 유도된 단일 penumbra 사진으로부터 숨겨진 장면의 2D 평면도를 재구성하기 위한 순방향 모델과 두 개의 역산 알고리즘을 제시하며, 가능성에 대한 CRB 분석을 포함한다.

ABSTRACT

Passive non-line-of-sight imaging methods are often faster and stealthier than their active counterparts, requiring less complex and costly equipment. However, many of these methods exploit motion of an occluder or the hidden scene, or require knowledge or calibration of complicated occluders. The edge of a wall is a known and ubiquitous occluding structure that may be used as an aperture to image the region hidden behind it. Light from around the corner is cast onto the floor forming a fan-like penumbra rather than a sharp shadow. Subtle variations in the penumbra contain a remarkable amount of information about the hidden scene. Previous work has leveraged the vertical nature of the edge to demonstrate 1D (in angle measured around the corner) reconstructions of moving and stationary hidden scenery from as little as a single photograph of the penumbra. In this work, we introduce a second reconstruction dimension: range measured from the edge. We derive a new forward model, accounting for radial falloff, and propose two inversion algorithms to form 2D reconstructions from a single photograph of the penumbra. Performances of both algorithms are demonstrated on experimental data corresponding to several different hidden scene configurations. A Cramer-Rao bound analysis further demonstrates the feasibility (and utility) of the 2D corner camera.

연구 동기 및 목표

• 일반적인 벽 모서리를 조리개로 활용하여 숨겨진 장면을 이미징하기 위한 수동적 NLOS 이미징의 동기를 부여한다.
• 관찰된 penumbra 감소를 통해 범위 정보를 포함시켜 기존의 1D 각도 재구성을 2D로 확장한다.
• 단일 바닥 사진을 숨겨진 장면의 방사도와 깊이와 연결하는 순방향 모델을 개발한다.
• 2D 평면도 재구성을 위한 두 가지 역산 알고리즘을 제안하고 비교한다.
• 모서리 기반 NLOS 이미징에 대한 실험적 검증과 CRB 기반의 가능성 분석을 제공한다.

제안 방법

• 바닥 방사도가 가시 기여도와 숨겨진 기여도의 합으로 표현되고 숨겨진 기여도가 각도와 거리의 적분으로 표현되는 순방향 모델을 도출한다(Equations 1–8).
• 숨겨진 영역을 각 웨지별 거리 변수를 가진 각도 웨지로 이산화하여 비선형 순방향 모델(Equation 9)을 얻는다.
• 단일 및 다중 숨겨진 타깃에 대한 크래머-라오 한계(Cramér–Rao bound) 분석을 수행하여 모서리 차폐체가 있을 때와 없을 때의 각도 및 거리 추정 한계를 정량화한다(Section III).
• 문제를 y = A c + (V ∘ D(ρ)) s_h + ε 형태로 재구성하는 극좌표 격자 선형화 접근법을 제안한다(Equation 23).
• 먼저 고해상도 각도 정보를 추정한 다음 각 타깃의 거리를 정제하는 교대 최적화 방법을 개발한다(Section IV).
• 구조화된 A 행렬과 희소성 촉진 회복을 통해 주변 바닥 반사도와 근·원거리 조명을 다룬다(Equation 22 및 관련 논의).

실험 결과

연구 질문

• RQ1 벽 모서리가 단일 penumbra 사진으로부터 숨겨진 장면의 2D(각도와 거리) 재구성이 가능할까?
• RQ2 모서리 차폐체가 차폐체가 없는 경우와 비교하여 숨겨진 타깃 거리 및 각도 추정에 미치는 CRB 영향은 어떠한가?
• RQ3 어떤 재구성 전략(극좌표 격자 vs. 각도-거리 교대 방식)이 정확한 2D 계획도 표현을 제공하는가?
• RQ4 주변광과 바닥 반사도는 2D NLOS 재구성의 가능성과 정확성에 어떤 영향을 미치는가?
• RQ5 모서리 차폐체 뒤에 있는 다중 숨겨진 타깃을 재구성할 때의 성능은 어떠한가?

주요 결과

• CRB 분석에 따르면 모서리는 각도 추정의 해상도를 크게 향상시키며(5~7개의 차수로 더 좋아짐), 거리 추정도 작지만 의미 있는 향상을 보인다.
• 모서리 차폐체는 각도-반지름 공간에서 거의 원형에 가까운 또는 선과 같은 불확실성 영역을 가능하게 하여 각도 불확실성을 축소하고 반사도 감소를 통한 반경 정보를 분리한다.
• 두 가지 재구성 접근법이 시연되었다: 극좌표 격자 선형 모델과 희소성 촉진의 교대 각도/거리 방법으로, 둘 다 단일 penumbra 사진으로부터 2D 평면도 재구성을 생성한다.
• 여러 숨겨진 장면 구성 및 색상에 걸친 2D 재구성을 실험적으로 검증하여 모서리 차폐체를 이용한 2D NLOS 이미징의 가능성을 확인한다.
• CRB 기반 인사이트는 코너 카메라가 2D 재구성에 가능하다고 시사하며, 특히 각도 추정을 향상시키고 거리 추정은 더 도전적이지만 여전히 달성 가능함을 시사한다.