[논문 리뷰] Spike Camera and Its Coding Methods

Siwei Dong, Tiejun Huang외 1명|arXiv (Cornell University)|2021. 04. 10.

Advanced Optical Imaging Technologies참고 문헌 7인용 수 4

한 줄 요약

이 논문은 각 픽셀에서 빛의 강도를 누적하여 임계값을 초과할 때 스팂스를 발생시키는 방식으로 고속 운동을 캡처하는 스팷 캠을 소개한다. 스팷 스트림으로부터 텍스처를 복원하기 위해 두 가지 복원 방법을 제안하여, 낮은 데이터 전송률과 높은 시간 해상도를 유지하면서도 고속으로 움직이는 장면을 정확하게 재생할 수 있도록 한다.

ABSTRACT

This paper introduces a spike camera with a distinct video capture scheme and proposes two methods of decoding the spike stream for texture reconstruction. The spike camera captures light and accumulates the converted luminance intensity at each pixel. A spike is fired when the accumulated intensity exceeds the dispatch threshold. The spike stream generated by the camera indicates the luminance variation. Analyzing the patterns of the spike stream makes it possible to reconstruct the picture of any moment which enables the playback of high speed movement.

연구 동기 및 목표

• 기존 카메라의 프레임 레이트와 데이터 대역폭 제약으로 인해 고속 영상을 캡처하고 재구성하는 데 직면한 과제를 해결한다.
• 빠른 빛의 강도 변화를 효율적으로 기록하기 위해 이벤트 기반 스팻스 생성 방식을 사용하는 새로운 영상 캡처 기반 기술을 개발한다.
• 희소한 스팻스 스트림으로부터도 시각적 콘텐츠를 정확히 재구성할 수 있도록 한다.
• 시간적·공간적 정밀도를 유지하면서 데이터 전송 및 저장 요구량을 최소화한다.

제안 방법

• 스팟 캠은 시간이 지남에 따라 각 픽셀에서 빛의 강도를 누적하며, 강도가 사전 정의된 임계값을 초과할 경우 스팻스를 발생시킨다.
• 스팟 생성은 이벤트 기반으로 이루어지며, 전체 프레임 스냅샷이 아닌 빛의 강도 변화를 인코딩한 타임스탬프가 부여된 이벤트 스트림을 생성한다.
• 두 가지 복원 방법을 제안한다: 하나는 스팻스 수의 시간적 통합에 기반하고, 다른 하나는 시공간 보간을 사용하여 픽셀 강도를 복원한다.
• 재구성 과정은 스팻스 타이밍의 통계적 패턴을 활용하여 프레임 간 원래의 빛 강도 분포를 추론한다.
• 시스템은 픽셀 강도 변화를 임계값을 초과하는 사건의 시퀀스로 모델링하여, 동적 장면의 효율적 인코딩을 가능하게 한다.
• 복원 알고리즘은 실시간 처리에 적합한 경량 계산 구조로 설계되어 엣지 디바이스에서도 활용 가능하다.

실험 결과

연구 질문

• RQ1 빛 강도 기반 임계값을 활용한 이벤트 기반 카메라 시스템이 최소한의 데이터로 고속 운동을 효과적으로 캡처할 수 있는가?
• RQ2 기존 영상과 비교해 희소한 스팻스 스트림으로부터 텍스처와 시각적 콘텐츠를 얼마나 정확히 재구성할 수 있는가?
• RQ3 복원 정밀도를 극대화하면서도 계산 비용을 최소화하는 복원 전략은 무엇인가?
• RQ4 스팟 기반 인코딩 방식이 시간 해상도를 훼손하지 않으면서 얼마나 많은 데이터량을 줄일 수 있는가?
• RQ5 고역동 범위 또는 급격한 강도 변화를 보이는 빠르게 움직이는 장면을 재구성하는 데 시스템의 성능은 어떠한가?

주요 결과

• 스팟 캠은 이벤트 기반 스팻스 생성 방식을 통해 빛 강도 변화를 캡처함으로써 고속 운동을 재현할 수 있는 높은 시간 해상도를 달성한다.
• 제안된 복원 방법은 최소한의 잡음과 높은 정밀도로 스팻스 스트림으로부터 시각적 텍스처를 성공적으로 복원한다.
• 전체 프레임을 전송하는 대신 스팻스 이벤트만 전송하기 때문에 기존 영상 대비 데이터 볼륨을 크게 줄일 수 있다.
• 희소한 스팻스 레이트에서도 재구성 품질이 유지되어, 희소 샘플링에 대한 강건성을 입증한다.
• 복원 과정은 정확한 시간 정렬과 빌드된 시각적 일관성을 유지하면서 고속 운동 시퀀스를 재생할 수 있도록 한다.
• 실시간 응용 분야인 감시, 로봇 공학, 고속 영상 촬영에서의 실현 가능성을 입증한다.