[논문 리뷰] SpikeCV: Open a Continuous Computer Vision Era

Yajing Zheng, Jiyuan Zhang외 6명|arXiv (Cornell University)|2023. 03. 21.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

SpikeCV는 실시간 스파ike 카메라 데이터 처리 및 분석을 위한 오픈소스이자 파이썬 기반 플랫폼이다. 뉴로모픽 비전 데이터를 활용한 오프라인 및 실시간 응용에서 높은 성능을 보이며, 이미지 복원, 광학 흐름, 물체 추적 등의 작업을 위한 표준화된 데이터셋, 하드웨어 인터페이스, 모듈러 알고리즘을 제공한다.

ABSTRACT

SpikeCV is a new open-source computer vision platform for the spike camera, which is a neuromorphic visual sensor that has developed rapidly in recent years. In the spike camera, each pixel position directly accumulates the light intensity and asynchronously fires spikes. The output binary spikes can reach a frequency of 40,000 Hz. As a new type of visual expression, spike sequence has high spatiotemporal completeness and preserves the continuous visual information of the external world. Taking advantage of the low latency and high dynamic range of the spike camera, many spike-based algorithms have made significant progress, such as high-quality imaging and ultra-high-speed target detection. To build up a community ecology for the spike vision to facilitate more users to take advantage of the spike camera, SpikeCV provides a variety of ultra-high-speed scene datasets, hardware interfaces, and an easy-to-use modules library. SpikeCV focuses on encapsulation for spike data, standardization for dataset interfaces, modularization for vision tasks, and real-time applications for challenging scenes. With the advent of the open-source Python ecosystem, modules of SpikeCV can be used as a Python library to fulfilled most of the numerical analysis needs of researchers. We demonstrate the efficiency of the SpikeCV on offline inference and real-time applications. The project repository address are \url{https://openi.pcl.ac.cn/Cordium/SpikeCV} and \url{https://github.com/Zyj061/SpikeCV

연구 동기 및 목표

• 스파이크 기반 컴퓨터 비전을 위한 접근 가능한 도구 부족 문제를 해결하기 위해 스파이크 카메라를 위한 통합 오픈소스 플랫폼을 구축한다.
• 이미지 복원, 광학 흐름, 깊이 추정 등의 다양한 비전 작업을 위한 스파이크 데이터셋과 인터페이스를 표준화한다.
• C++를 통한 하드웨어 I/O와 파이썬을 통한 고수준 수치 분석을 통합하여 실시간 처리 파이프라인을 가능하게 한다.
• 모듈러하고 재사용 가능하며 상호운용성이 뛰어난 도구를 제공함으로써 뉴로모픽 비전을 위한 커뮤니티 생태계를 조성한다.
• 자율주행, 드론, 산업 모니터링 등의 동적 환경에서 초고속 응용을 지원한다.

제안 방법

• SpikeCV는 오프라인 파일과 실시간 하드웨어 스트림을 모두 지원하는 커스텀 데이터 로더를 사용하여 스파이크 데이터를 봉인한다.
• 일관된 파일 형식과 메타데이터를 갖춘 표준화된 데이터셋 인터페이스를 다양한 작업(예: 이미지, 흐름, 깊이) 간에 제공한다.
• 스파이크 기반 비전 작업을 위한 모듈러 알고리즘 라이브러리를 제공하며, 이미지 복원에는 TFP, 고품질 출력에는 SSML을 포함한다.
• 실시간 처리는 이중 인터페이스 설계를 통해 달성되며, C++는 저지연 하드웨어 통신에, 파이썬은 알고리즘 유연성과 NumPy/PyTorch 통합에 사용된다.
• 다양한 스파이크 카메라 모델에 적합한 최적화된 파이프라인을 통해 스파이크 데이터 수집과 처리 간의 동기화를 지원한다.
• 오픈소스 파이썬 생태계와 통합되어, 연구 및 개발을 위한 수치 툴킷(예: SciPy, PyTorch)의 원활한 사용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 스파이크 기반 컴퓨터 비전 응용의 개발 및 구현을 간소화하기 위해 통합된 오픈소스 플랫폼을 어떻게 설계할 수 있는가?
• RQ2 스파이크 카메라 데이터를 활용한 다양한 비전 작업을 지원하기 위해 필요한 표준화된 데이터 인터페이스와 모듈러 구성 요소는 무엇인가?
• RQ3 다양한 하드웨어 플랫폼 간에 저지연성과 높은 신뢰성으로 초고속 스파이크 스트림을 실시간으로 처리할 수 있는가?
• RQ4 플랫폼은 복잡하고 동적인 환경에서 오프라인 분석과 실시간 추론을 얼마나 효과적으로 지원하는가?
• RQ5 이러한 플랫폼이 뉴로모픽 비전 및 연속적 비전 분야의 연구 및 커뮤니티 개발을 가속화하는 데 어떤 역할을 할 수 있는가?

주요 결과

• TFP 알고리즘을 사용하여 스파이크 스트림에서 고품질 이미지 복원이 성공적으로 수행되었으며, 어려운 조명 조건에서도 선명하고 노이즈가 적은 이미지를 생성한다.
• 광학 흐름 추정 및 다중 물체 추적 알고리즘은 희소한 스파이크 스트림에서도 뛰어난 성능을 보이며, 돌고 있는 물체나 빠른 제스처와 같은 고속 시나리오에서 운동을 정확히 포착한다.
• 실시간 작업인 가위바위보 인식에서 높은 성능을 기록하여 빠른 손동작을 최소한의 지연으로 처리한다.
• 표준화된 데이터셋 인터페이스는 다양한 데이터 유형을 지원하며, 광학 흐름(RSSF), 깊이(Spike-KITTI), 단안 깊이(DENSE-Spike) 등의 합성 데이터를 포함하여 태스크 간 호환성을 보장한다.
• 하드웨어 I/O에 C++를, 알고리즘 개발에 파이썬을 통합함으로써 저지연 성능을 달성한 효율적이고 동기화된 데이터 처리가 가능해졌다.
• PKU-Vidar-DVS 데이터셋에서 플랫폼이 검증되었으며, 실내 및 실외 환경에서 여러 비전 작업에서 일관되고 신뢰할 수 있는 결과를 보였다.