[논문 리뷰] Recent Advances in Imaging Around Corners

Tomohiro Maeda, Guy Satat외 3명|arXiv (Cornell University)|2019. 10. 12.

Advanced Optical Sensing Technologies참고 문헌 88인용 수 47

한 줄 요약

이 논문은 빛을 이용한 비가시선(NLOS) 이미징에 대한 포괄적 조사로, ToF, coherence, 및 강도 기반 기술, 하드웨어, 알고리즘, 그리고 실세계 도전 과제를 다룹니다.

ABSTRACT

Seeing around corners, also known as non-line-of-sight (NLOS) imaging is a computational method to resolve or recover objects hidden around corners. Recent advances in imaging around corners have gained significant interest. This paper reviews different types of existing NLOS imaging techniques and discusses the challenges that need to be addressed, especially for their applications outside of a constrained laboratory environment. Our goal is to introduce this topic to broader research communities as well as provide insights that would lead to further developments in this research area.

연구 동기 및 목표

• 광범위한 연구 독자에게 비가시선 이미징을 소개한다.
• 기존의 NLOS 이미징 기술과 센싱 모듈을 검토한다.
• 전방 모델, 재구성 및 추론 알고리즘과 실제 사용에의 적용 가능성을 논의한다.
• 실험실 밖 배치를 위한 하드웨어 옵션과 실용적 도전 과제를 강조한다.

제안 방법

• NLOS 기술을 Time-of-Flight, coherence 기반, 및 intensity 기반 범주로 분류한다.
• 숨겨진 장면을 측정으로 매핑하는 전방 모델을 설명하고 악문제의 불완전성 및 정규화에 대해 논의한다.
• 재구성 알고리즘을 요약한다(백프로젝션, 사전 정보를 이용한 최적화, 컨포칼 디컨볼루션, 파동 기반 및 역 렌더링 접근법).
• 위치 추정, 추적, 분류를 위한 추론 전략과 전체 장면 재구성과의 차이를 설명한다.
• 하드웨어 선택지(streak 카메라, SPAD, AMCW ToF 카메라, 전통 카메라, 간섭계)와 그 트레이드오프를 개요한다.
• 추론 및 인식 작업에서 데이터 기반 접근법과 신경망의 역할을 논의한다.

실험 결과

연구 질문

• RQ1 코너 주변을 보는 기존 기법은 무엇이며 센싱 모달리티에 따라 어떻게 다르는가?
• RQ2 ToF, coherence, 및 intensity 접근법에서 NLOS 이미징을 가능하게 하는 전방 모델 및 재구성/추론 알고리즘은 무엇인가?
• RQ3 하드웨어 선택과 노이즈/조도 조건이 실험실 밖 실제 NLOS 이미징에 어떤 영향을 미치는가?
• RQ4 실시간이고 강건한 NLOS 이미징의 주요 도전과제와 실제 배치에서의 잠재적 해결책은 무엇인가?
• RQ5 데이터 기반 방법이 코너 주변에서의 위치 추정, 추적, 분류에 어떻게 기여할 수 있는가?

주요 결과

• Time-of-Flight 방법은 세 번 반사된 광자 경로를 활용하여 숨겨진 물체 위치에 타원체 제약을 제공한다.
• 공초점 이미징은 전방 모델을 3D 컨볼루션으로 축소하여 빠른 디컨볼루션 기반 재구성을 가능하게 한다.
• 코herence 기반 방법은 메모리 효과와 공간 상관성을 이용해 난류 속에서도 숨겨진 장면을 재구성하거나 추론한다.
• 강도 기반 방법은 폐색이나 벽의 반사율에 의존하여 priors와 함께 실시간 수동 추적 및 재구성을 가능하게 한다.
• 여러 하드웨어 모달리티(streak 카메라, SPAD, AMCW ToF, 전통 카메라, 간섭계)는 시간 해상도, SNR, 비용 및 실용성에서 서로 다른 트레이드오프를 제공한다.
• 데이터 기반 접근법은 위치 추정과 분류에 가능성을 보여주지만 일반화는 여전히 활발한 연구 영역이다.