[논문 리뷰] Occlusion Fields: An Implicit Representation for Non-Line-of-Sight Surface Reconstruction

Javier Grau, Markus Plack외 3명|arXiv (Cornell University)|2022. 03. 16.

Advanced Optical Sensing Technologies인용 수 5

한 줄 요약

이 논문은 비선형 시야(Non-Line-of-Sight, NLoS) 3D 표면 재구성에 대한 새로운 신경 암시적 표현인 Occlusion Fields를 소개한다. 이는 숨겨진 장면을 벽에 노출된 점과 가림된 점 사이의 결정 경계로 모델링한다. 도착 시간 측정값과 엔드 투 엔드 학습을 활용함으로써, 페르마 경로 기준을 초월한 기하학적 특징을 복원하고, 자기 가림에 대해 강건성을 확보하여 볼륨형 및 이전의 비볼륨형 방법보다 완전성과 정밀도에서 뛰어난 성능을 발휘한다.

ABSTRACT

Non-line-of-sight reconstruction (NLoS) is a novel indirect imaging modality that aims to recover objects or scene parts outside the field of view from measurements of light that is indirectly scattered off a directly visible, diffuse wall. Despite recent advances in acquisition and reconstruction techniques, the well-posedness of the problem at large, and the recoverability of objects and their shapes in particular, remains an open question. The commonly employed Fermat path criterion is rather conservative with this regard, as it classifies some surfaces as unrecoverable, although they contribute to the signal. In this paper, we use a simpler necessary criterion for an opaque surface patch to be recoverable. Such piece of surface must be directly visible from some point on the wall, and it must occlude the space behind itself. Inspired by recent advances in neural implicit representations, we devise a new representation and reconstruction technique for NLoS scenes that unifies the treatment of recoverability with the reconstruction itself. Our approach, which we validate on various synthetic and experimental datasets, exhibits interesting properties. Unlike memory-inefficient volumetric representations, ours allows to infer adaptively tessellated surfaces from time-of-flight measurements of moderate resolution. It can further recover features beyond the Fermat path criterion, and it is robust to significant amounts of self-occlusion. We believe that this is the first time that these properties have been achieved in one system that, as an additional benefit, is trainable and hence suited for data-driven approaches.

연구 동기 및 목표

• 볼륨형 표현에 의존하거나 페르마 경로 기준에 제약을 받는 기존 NLoS 재구성 방법의 한계를 해결하기 위해.
• 메모리 효율적이고 미분 가능한 암시적 표현을 개발하여, 하나의 학습 가능한 프레임워크 안에서 복원 가능성과 재구성의 통합을 이루기 위해.
• 도착 시간 측정값을 활용하여 페르마 기하학이 아닌 구조와 자기 가림된 표면을 재구성할 수 있도록 하기 위해.
• 실세계 및 노이즈가 있는 측정 조건에 적합한 확장 가능하고 적응형이며 데이터 기반의 접근법을 제공하기 위해.

제안 방법

• 이 방법은 신경망의 결정 경계로 NLoS 표면을 모델링하여, 점들이 벽에 노출되었는지 또는 숨겨진 물체에 의해 가려졌는지 분류한다.
• 3D 좌표를 점유 확률로 매핑하기 위해 위치 인코딩을 사용하는 신경망을 활용하여, 음영 경계를 암묵적으로 학습한다.
• 예측된 신호와 측정된 시간에 따른 신호 간의 차이를 기반으로 한 손실 함수를 사용하여 엔드 투 엔드 최적화를 가능하게 한다.
• 실세계 SPAD 센서 반응을 시뮬레이션하고 강건성을 향상시키기 위해 학습 중에 기저 노이즈가 포함된 포isson 노이즈 모델을 적용한다.
• 고정된 바이트 격자 없이 재구성된 표면의 적응형 테셀레이션을 가능하게 한다.
• 합성 및 실제 실험 데이터셋을 바탕으로 학습 및 평가되며, 실세계 일반화를 위한 도메인 적응 기법이 포함되어 있다.

실험 결과

연구 질문

• RQ1 신경 암시적 표현은 페르마 경로 기준의 한계를 초월하여 NLoS 표면을 복원할 수 있는가?
• RQ2 미분 가능한 암시적 표현은 NLoS 재구성에서 강한 자기 가림을 얼마나 잘 처리할 수 있는가?
• RQ3 학습 가능한 메모리 효율적 표현은 중간 해상도의 도착 시간 측정 데이터로부터 고정밀 메쉬 재구성을 달성할 수 있는가?
• RQ4 노이즈 증강을 통한 도메인 적응은 실세계 측정으로의 일반화를 어느 정도 향상시키는가?

주요 결과

• 제안된 Occlusion Fields 표현은 페르마 기하학이 아닌 특징을 포함한 숨겨진 물체의 완전한 3D 메쉬를 성공적으로 재구성한다. 이는 기존 물리 모델이 일반적으로 간과하는 특징들이다.
• 이 방법은 심각한 자기 가림 상황에서도 강건성을 보이며, 복잡한 구조나 평면 물체의 다중 시점 재구성에서 완전히 가려진 영역을 높은 기하학적 정밀도로 복원한다.
• 페르마 기하학이 아닌 구조를 가진 ShapeNet 카테고리(예: 머그컵, 카메라)에서, 이 모델은 가장 우수한 페르마 케이스 예측보다도 뛰어난 성능을 보이며, 흐린 및 불완전한 재구성을 보여준다.
• 노이즈 증강을 통한 도메인 적응을 거친 후 실세계 데이터셋으로 일반화되지만, 노이즈 모델의 물리적 정확도 부족으로 인해 성능이 약간 저하된다.
• 메모리 집약적인 볼륨형 격자 없이도 적응형 고해상도 표면 테셀레이션을 가능하게 하여, 데이터 기반 NLoS 재구성에 적합하다.
• 노이즈가 있는 입력에 대한 엔드 투 엔드 학습이 경쟁적인 성능을 내며, 이는 방법의 강건성과 실제 센서 데이터에 대한 적합성을 검증한다.