[논문 리뷰] Flash Photography for Data-Driven Hidden Scene Recovery

Matthew Tancik, Guy Satat외 1명|arXiv (Cornell University)|2018. 10. 27.

Advanced Optical Sensing Technologies참고 문헌 37인용 수 29

한 줄 요약

이 논문은 소비자용 플래시 촬영을 이용한 데이터 기반 비선형 시야(NLOS) 영상 기법을 제안한다. 기하 모델링과 딥러닝을 융합하여 숨겨진 장면의 국소화, 식별 및 재구성하는 데에 사용된다. 실제 데이터에서 1.7cm 2차원 국소화 정확도와 87.7%의 물체 분류 정확도를 달성하였으며, 이는 숨겨진 물체에 대한 정보가 기하학적 불연속성 근처가 아니라 전체 시야 영역에 분포되어 있음을 보여준다.

ABSTRACT

Vehicles, search and rescue personnel, and endoscopes use flash lights to locate, identify, and view objects in their surroundings. Here we show the first steps of how all these tasks can be done around corners with consumer cameras. Recent techniques for NLOS imaging using consumer cameras have not been able to both localize and identify the hidden object. We introduce a method that couples traditional geometric understanding and data-driven techniques. To avoid the limitation of large dataset gathering, we train the data-driven models on rendered samples to computationally recover the hidden scene on real data. The method has three independent operating modes: 1) a regression output to localize a hidden object in 2D, 2) an identification output to identify the object type or pose, and 3) a generative network to reconstruct the hidden scene from a new viewpoint. The method is able to localize 12cm wide hidden objects in 2D with 1.7cm accuracy. The method also identifies the hidden object class with 87.7% accuracy (compared to 33.3% random accuracy). This paper also provides an analysis on the distribution of information that encodes the occluded object in the accessible scene. We show that, unlike previously thought, the area that extends beyond the corner is essential for accurate object localization and identification.

연구 동기 및 목표

• 소비자용 플래시 촬영을 이용해 코너 뒤의 은폐된 물체를 실시간으로 국소화, 식별 및 재구성하는 것을 목적으로 한다.
• 기하학적 사전 지식과 데이터 증강을 활용해 렌더링된 데이터로 훈련하여 대규모 실세계 NLOS 데이터셋의 부족을 보완한다.
• 숨겨진 물체에 대한 정보가 기하학적 불연속성 근처에 국한되지 않고 전체 시야 영역에 분포되어 있음을 입증한다.
• 가상의 새로운 카메라 위치에서 숨겨진 장면의 사진 수준의 시각을 재구성할 수 있는 생성 모델을 개발한다.
• 정밀한 물리적 캘리브레이션이나 복잡한 하드웨어 없이도 데이터 기반 방법이 안정적인 NLOS 영상 구현이 가능함을 보여준다.

제안 방법

• 빛의 세 번 반사 모델을 사용해 플래시 조명을 시뮬레이션하며, 빛은 카메라를 향한 벽에서 반사되어 은폐된 물체로 향하고 다시 카메라로 되돌아온다.
• 기하학적 변형과 재질 특성을 포함한 렌더링된 합성 데이터를 기반으로 컨volutional 신경망(CNN)을 훈련시켜 물체의 위치와 종류를 예측한다.
• 시스템은 2차원 국소화를 위한 회귀 헤드, 물체 유형 또는 자세 인식을 위한 분류 헤드, 그리고 신규 시각 합성용 생성 모델을 포함한다.
• 합성 데이터에서 실세계 데이터로의 일반화를 향상시키기 위해, 물체 위치, 재질, 조명 등의 다양한 렌더링 파rameter를 훈련 데이터셋에 포함시킨다.
• 실세계에서 동기화된 비디오 쌍을 기반으로 별도의 생성 모델을 훈련한다: 한 카메라는 시야 영역을 관찰하고, 다른 카메라는 은폐된 장면을 촬영하여 지도 학습을 제공한다.
• 전통적인 기하학적 이해와 딥러닝을 융합하여, 광범위한 캘리브레이션 없이도 강건한 추론을 달성한다.

실험 결과

연구 질문

• RQ1 렌더링된 데이터로 훈련된 데이터 기반 딥러닝 모델이 소비자용 플래시 촬영을 통해 실세계 NLOS 환경에서 은폐된 물체를 정확하게 국소화하고 식별할 수 있는가?
• RQ2 은폐된 물체 복원에 있어 가장 정보가 많은 신호는 시야 영역의 어디에 위치하는가? 특히 기하학적 불연속성 근처에 국한되어 있는가 아니면 더 넓게 분포되어 있는가?
• RQ3 실세계 데이터로 훈련된 생성 모델이 추론 시 은폐된 영역에 대한 접근 없이도 새로운 시점에서 사진 수준의 이미지를 재구성할 수 있는가?
• RQ4 비불연속 영역(예: 평평한 벽)을 포함하는 것이 코너 반사만에 의존하는 것보다 NLOS 물체 국소화 및 식별 성능에 어떤 영향을 미치는가?
• RQ5 데이터 기반 모델이 정밀한 보정 또는 캘리브레이션 없이도 합성 훈련 데이터에서 실세계 NLOS 영상으로 얼마나 잘 일반화되는가?

주요 결과

• 이 방법은 12cm 폭의 은폐된 물체를 2차원에서 평균 1.7cm의 정확도로 국소화하며, 기존 기준 방법보다 뚜렷이 뛰어나다.
• 물체 분류 정확도는 87.7%에 달하며, 무작위 기준(33.3%)을 크게 초월하여 효과적인 데이터 기반 식별을 입증한다.
• 은폐된 물체에 대한 핵심 정보는 기하학적 불연속성 근처에만 국한되지 않고 넓은 영역에 걸쳐 분포되어 있음을 보여주며, 이는 이전의 가정을 도전한다.
• 코너를 넘은 영역(영역 1)을 제외하면 분류 정확도가 51%로 떨어지지만, 이를 포함시킬 경우 성능 향상이 이루어져 그 중요성을 입증한다.
• 실세계에서 동기화된 비디오 쌍을 기반으로 훈련된 생성 모델은 최소한의 지도 학습으로도 새로운 카메라 시점에서 은폐된 장면의 사진 수준의 시각을 성공적으로 재구성한다.
• 시스템은 실시간으로 작동하며, 단일 소비자용 플래시와 카메라 설정을 통해 국소화, 식별, 재구성 등의 다중 작업을 지원한다.