[논문 리뷰] Snapshot Difference Imaging using Time-of-Flight Sensors

Clara Callenberg, Felix Heide외 2명|arXiv (Cornell University)|2017. 05. 19.

Advanced Optical Sensing Technologies참고 문헌 31인용 수 3

한 줄 요약

이 논문은 깊이 측정을 목적으로 하지 않고, 시간에 따른 도래(ToF) 센서를 사용하여 단일 노출에서 픽셀 수준의 차이를 직접 캡처하는 새로운 스냅샷 차이 영상 기법을 소개한다. 이 기법은 시간적 및 공간적 기울기, 깊이 경계, 직접 조명만의 영상과 같은 다양한 차이를 측정한다. 광학 경로를 재구성하고 센서의 고유한 노이즈 통계를 활용함으로써, 후처리나 다중 노출 없이 아티팩트 없는 실시간 차이 영상 계산을 가능하게 한다.

ABSTRACT

Computational photography encompasses a diversity of imaging techniques, but one of the core operations performed by many of them is to compute image differences. An intuitive approach to computing such differences is to capture several images sequentially and then process them jointly. Usually, this approach leads to artifacts when recording dynamic scenes. In this paper, we introduce a snapshot difference imaging approach that is directly implemented in the sensor hardware of emerging time-of-flight cameras. With a variety of examples, we demonstrate that the proposed snapshot difference imaging technique is useful for direct-global illumination separation, for direct imaging of spatial and temporal image gradients, for direct depth edge imaging, and more.

연구 동기 및 목표

• 다중 노출 기반의 전통적 차이 영상 촬영에서 발생하는 운동 아티팩트 문제를 해결하기 위해 단일 노출에서 이미지 차이를 직접 계산할 수 있도록 하는 것.
• ToF 센서의 계산 능력을 깊이 측정을 넘어서, 직접적인 아날로그 계산을 통한 이미지 차이 측정에 활용하는 것.
• 시간적 기울기, 깊이 경계, 직접 조명 영상 등 다양한 영상 모드를 단일 하드웨어 재구성으로 구현하는 것.
• ToF 센서의 노이즈 통계인 스켈람 분포를 활용하여 다중 스펙트럼 조명 조건에서 단일 스냅샷으로부터 다중 색채널을 추출하는 것.
• 기존에 다중 노출 또는 복잡한 디코딩이 필요로 했던 계산 사진 촬영 작업을 하드웨어 수준에서 직접 해결하는 솔루션을 제공하는 것.

제안 방법

• 기존의 ToF 카메라의 광학 경로를 재구성하여 픽셀 수준에서 이미지 차이를 직접 측정할 수 있도록 하는 방법.
• ToF 센서의 단계 이동된 서브프레임을 사용하여 하드웨어 수준의 변조를 통해 시간적 및 공간적 기울기 등의 차이를 계산하는 방법.
• 변조 극성의 반전 및 한 빛원천의 연결 해제를 통해 깊이 경계 및 직접 조명 성분을 직접 감지할 수 있도록 하는 방법.
• ToF 센서의 광자 노이즈가 스켈람 분포를 이룬다는 점을 활용하여 이중 파장 조명 조건에서 단일 스냅샷으로 두 색채널(예: 빨간색 및 파란색)을 추출하는 방법.
• 추가적인 디코딩이나 후처리가 필요 없으며, 모든 차이 영상이 센서 하드웨어 내에서 직접 생성된다.
• 이 방법은 맞춤형 리본 케이블 수정을 통해 이중 빛원천 제어가 가능한 수정된 TI OPT8241-CDK 센서 보드를 사용하여 검증되었다.

실험 결과

연구 질문

• RQ1 ToF 센서를 다중 노출 없이 직접 이미지 차이를 측정할 수 있는 아날로그 계산 영상 장치로 재활용할 수 있는가?
• RQ2 ToF 센서의 하드웨어 재구성을 통해 직접적인 차이 계산을 위한 어떤 영상 모드를 달성할 수 있는가?
• RQ3 ToF 센서의 고유한 노이즈 통계를 어떻게 활용하여 단일 스냅샷에서 다중 색채널을 추출할 수 있는가?
• RQ4 이 방법을 사용하여 직접 조명만의 영상과 깊이 경계 영상을 단일 노출로 캡처할 수 있는가?
• RQ5 이 스냅샷 차이 영상 촬영 기법의 실용적 제약 조건과 성능 상의 상충 관계는 무엇인가?

주요 결과

• 모든 디코딩 단계 없이 단일 노출에서 시간적 기울기, 깊이 경계, 직접 조명 영상, 공간 기울기 영상을 성공적으로 캡처하였다.
• 빛원천의 변조와 단계 이동된 서브프레임을 활용하여 깊이 경계를 직접 감지하고, 그 차이를 계산하는 방법을 통해 직접 영상 촬영이 가능하다.
• 빨간색 및 파란색 조명 조건에서의 단일 스냅샷을 통해 스켈람 노이즈 모델을 활용하여 두 색채널을 추출함으로써 다중 스펙트럼 영상 촬영 능력을 입증하였다.
• 순차적 촬영에서 발생하는 운동 오차를 제거함으로써 역동적인 시나리오에서도 아티팩트 없는 차이 영상 촬영을 달성하였다.
• 네 단계 서브프레임 캡처로 인해 프레임 레이트는 감소하지만, 실용적 응용 분야에서는 실시간 성능 유지를 유지하였다.
• ToF 센서가 깊이 측정 외에도 일반적인 계산 영상 장치로서 차이 기반 작업에 활용될 수 있음을 실험적으로 입증하였다.