[논문 리뷰] Recent Advances on Non-Line-of-Sight Imaging: Conventional Physical Models, Deep Learning, and New Scenes

Ruixu Geng, Hu Yang외 1명|arXiv (Cornell University)|2021. 04. 28.

Advanced Optical Sensing Technologies인용 수 5

한 줄 요약

이 논문은 비선형 시선(NLOS) 영상 기술에 대한 종합적인 설문 조사로, 전통적인 물리 모델과 딥 러닝 기반 방법을 다루며, 주로 능동형 및 수동형 영상 기법에 초점을 맞춘다. 두 번 반사 영상 및 키홀 영상과 같은 새로운 NLOS 시나리오를 소개하며, 재구성 품질 향상, SNR 향상, 스캐닝 시간 단축 등의 진전을 강조하면서도, 향후 연구를 위한 일반화 및 실시간 처리 과제를 밝히고 있다.

ABSTRACT

As an emerging technology that has attracted huge attention, non-line-of-sight (NLOS) imaging can reconstruct hidden objects by analyzing the diffuse reflection on a relay surface, with broad application prospects in the fields of autonomous driving, medical imaging, and defense. Despite the challenges of low signal-to-noise ratio (SNR) and high ill-posedness, NLOS imaging has been developed rapidly in recent years. Most current NLOS imaging technologies use conventional physical models, constructing imaging models through active or passive illumination and using reconstruction algorithms to restore hidden scenes. Moreover, deep learning algorithms for NLOS imaging have also received much attention recently. This paper presents a comprehensive overview of both conventional and deep learning-based NLOS imaging techniques. Besides, we also survey new proposed NLOS scenes, and discuss the challenges and prospects of existing technologies. Such a survey can help readers have an overview of different types of NLOS imaging, thus expediting the development of seeing around corners.

연구 동기 및 목표

• 비선형 시선(NLOS) 영상 기술 분야의 최근 발전에 대한 체계적인 개요 제공.
• 저소음비(SNR)와 고도의 불안정성 문제를 야기하는 전통적인 물리 모델링 접근법의 한계 분석.
• 딥 러닝이 NLOS 재구성 품질 향상 및 일반화 능력 향상에 기여하는 역할과 잠재력 평가.
• 두 번 반사 및 키홀 영상과 같은 새로운 NLOS 영상 시나리오 탐색을 통해 기존 설정을 넘어서는 적용 범위 확장.
• 실용적이고 실시간이며 강력한 NLOS 영상 시스템을 위한 열린 과제와 향후 연구 방향 식별.

제안 방법

• 조명 방식에 따라 NLOS 영상 기법을 능동형 및 수동형으로 분류: 능동형은 제어 가능한 빛 원천(예: 초고속 레이저)을 사용하며, 수동형은 환경광 또는 방출광에 의존한다.
• 백프로젝션, 역방법, 파동 기반 모델과 같은 전통적 재구성 기법 검토하며, 정확한 전방 영상 모델과 시간 해상도 감지 기반의 기반에 기초한다.
• 딥 러닝 기반 접근법 분석을 통해 엔드 투 엔드 네트워크와 물리적 제약 조건을 아키텍처에 통합한 물리 기반 네트워크로의 차별화를 시도한다.
• 두 가지 새로운 NLOS 시나리오 도입: 두 번 반사 영상은 은폐된 물체가 빛을 차단하여 리레이는 표면에 감지 가능한 그림자를 만드는 방식이며, 키홀 영상은 소규모 개구부를 이용해 조명과 감지를 일부 구멍으로 제한하는 방식이다.
• 일반화 향상을 위한 전략 논의: 전이 학습, 비지도 학습, 향상된 합성 데이터셋 생성 기법.
• 배열 감지기(예: SPAD 어레이)가 순차적 스캐닝을 제거함으로써 스캐닝 시간을 단축하고 실시간 영상 촬영을 가능하게 할 수 있음을 제안.

실험 결과

연구 질문

• RQ1 기존 물리 모델은 어떻게 최적화되어 비선형 시선 영상에서 SNR 향상과 불안정성 감소를 달성할 수 있는가?
• RQ2 딥 러닝 모델은 새로운 은폐된 물체 구성, 파arameter(예: BRDF, 시간 지연) 등에 대해 얼마나 잘 일반화되는가?
• RQ3 두 번 반사 및 키홀 영상과 같은 새로운 NLOS 영상 시나리오의 성능 및 한계는 무엇인가?
• RQ4 대규모 레이블이 부여된 데이터셋에 의존하지 않고 비지도 학습 또는 전이 학습 기법이 모델의 일반화 능력을 어떻게 향상시킬 수 있는가?
• RQ5 실용적 응용에서 실시간 고해상도 NLOS 영상 촬영을 실현하기 위해 필요한 하드웨어 및 알고리즘 혁신은 무엇인가?

주요 결과

• 초고속 레이저와 시간 해상도 감지기를 사용한 능동형 NLOS 영상 기법은 세 번 반사된 빛을 캡처함으로써 고해상도 3차원 재구성 가능하며, 한 연구에서는 1.43km의 영상 촬영 거리 달성.
• 수동형 NLOS 영상 기법은 아직 저품질 2차원 재구성 또는 위치 추정 수준에 머물러 있으며, 최근 방법들은 부분적인 가림 물체가 있는 경우 형태와 깊이를 추정할 수 있다.
• 딥 러닝 기반 기법, 특히 물리 기반 네트워크는 장면 사전 지식을 학습하고 물리적 제약 조건을 통합함으로써 향상된 재구성 품질을 보여준다.
• 두 번 반사 NLOS 영상 기법은 빛의 차단 영향을 감지함으로써 장애물 뒤의 영상 촬영이 가능하며, 자율주행 차량 및 구조 구조 활동 등 응용 가능.
• 키홀 영상 기법은 소규모 개구부를 이용해 제한된 환경(예: 커튼이 있는 방)에서도 NLOS 영상 촬영이 가능하게 하며, 공간 요구를 줄인다.
• 일반화 능력은 여전히 핵심 과제로 남아 있다: 현재 합성 데이터로 훈련된 딥 러닝 모델은 새로운 파arameter나 시나리오에 대해 제한된 성능을 보이며, 비지도 학습 또는 전이 학습 접근법의 필요성을 강조한다.