[論文レビュー] SpikeCV: Open a Continuous Computer Vision Era

Yajing Zheng, Jiyuan Zhang+6 more|arXiv (Cornell University)|Mar 21, 2023

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

SpikeCV は、ニューロモーラルビジョンデータを用いたリアルタイム処理および分析を可能にするオープンソースで Python で構築されたプラットフォームです。画像再構成、光流、物体追跡などのタスクに適した標準化されたデータセット、ハードウェアインターフェース、モジュラーなアルゴリズムを提供し、オフラインおよびリアルタイム応用において高いパフォーマンスを示しています。

ABSTRACT

SpikeCV is a new open-source computer vision platform for the spike camera, which is a neuromorphic visual sensor that has developed rapidly in recent years. In the spike camera, each pixel position directly accumulates the light intensity and asynchronously fires spikes. The output binary spikes can reach a frequency of 40,000 Hz. As a new type of visual expression, spike sequence has high spatiotemporal completeness and preserves the continuous visual information of the external world. Taking advantage of the low latency and high dynamic range of the spike camera, many spike-based algorithms have made significant progress, such as high-quality imaging and ultra-high-speed target detection. To build up a community ecology for the spike vision to facilitate more users to take advantage of the spike camera, SpikeCV provides a variety of ultra-high-speed scene datasets, hardware interfaces, and an easy-to-use modules library. SpikeCV focuses on encapsulation for spike data, standardization for dataset interfaces, modularization for vision tasks, and real-time applications for challenging scenes. With the advent of the open-source Python ecosystem, modules of SpikeCV can be used as a Python library to fulfilled most of the numerical analysis needs of researchers. We demonstrate the efficiency of the SpikeCV on offline inference and real-time applications. The project repository address are \url{https://openi.pcl.ac.cn/Cordium/SpikeCV} and \url{https://github.com/Zyj061/SpikeCV

研究の動機と目的

• スパイクベースコンピュータビジョン用のアクセス可能なツールの不足に応えるために、スパイクカメラ用の統合型オープンソースプラットフォームを構築すること。
• 画像再構成、光流、深度推定などの多様なビジョンタスクにおいて、スパイクデータセットとインターフェースを標準化すること。
• C++ を用いたハードウェア I/O と Python を用いたハイレベルな数値解析の統合により、リアルタイム処理パイプラインを実現すること。
• モジュラーで再利用可能かつ相互運用性のあるツールを提供することで、神経形状ビジョンのコミュニティエコシステムを育成すること。
• 自動運転、ドローン、産業監視などの動的シーンにおける超高速応用を支援すること。

提案手法

• SpikeCV は、オフラインファイルとリアルタイムハードウェアストリームの両方をサポートするカスタムデータローダーを用いてスパイクデータをカプセル化する。
• 画像、光流、深度などの複数のタスクにおいて、一貫したファイル形式とメタデータを備えた標準化されたデータセットインターフェースを提供する。
• スパイクベースビジョンタスク向けのモジュラーなアルゴリズムライブラリを提供し、画像再構成には TFP、高品質出力には SSML を使用する。
• リアルタイム処理は、C++ を用いた低遅延ハードウェア通信と、NumPy/PyTorch との統合を可能にする Python によるアルゴリズムの柔軟性を組み合わせた二重インターフェース設計により実現する。
• さまざまなスパイクカメラモデル向けに最適化されたパイプラインにより、スパイクデータの取得と処理の同期を実現する。
• オープンソースの Python エコシステムと統合され、研究開発に向けた数値ツールキット（例: SciPy や PyTorch）のシームレスな利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スパイクベースコンピュータビジョンアプリケーションの開発とデプロイを簡素化する統合型オープンソースプラットフォームをどのように設計できるか？
• RQ2 スパイクカメラデータ上で多様なビジョンタスクをサポートするには、どのような標準化されたデータインターフェースとモジュラーコンponents が必要か？
• RQ3 異なるハードウェアプラットフォーム上で、超高速スパイクストリームの低遅延かつ高信頼性なリアルタイム処理を達成できるか？
• RQ4 このプラットフォームは、複雑で動的なシーンにおいて、オフライン分析とリアルタイム推論の両方をどれほど効果的に可能にするか？
• RQ5 このようなプラットフォームが、神経形状ビジョンおよび連続ビジョン分野における研究とコミュニティ開発を加速する上で果たす役割とは何か？

主な発見

• TFP アルゴリズムを用いた SpikeCV は、スパイクストリームからの高品質な画像再構成を実現し、明るさの変動が激しい状況でもシャープでノイズの少ない画像を生成する。
• 光流推定およびマルチオブジェクトトラッキングアルゴリズムは、スパarsなスパイクストリームでも高い性能を示し、回転する物体や高速なジェスチャーなどの高スピードシーンにおける動きを正確に捉える。
• プラットフォームは、岩・ハサミ・パーの認識といった動的タスクにおいてリアルタイム性能を達成し、急速な手の動きを最小限の遅延で処理する。
• 標準化されたデータセットインターフェースは、合成データ（例: 光流用の RSSF、深度用の Spike-KITTI、単眼深度用の DENSE-Spike）を含む多様なデータタイプをサポートし、タスク間の相互運用性を実現する。
• C++ を用いたハードウェア I/O と Python を用いたアルゴリズム開発の統合により、低遅延性能を実現する効率的かつ同期的なデータ処理が可能になる。
• プラットフォームは PKU-Vidar-DVS データセットで検証され、屋内および屋外環境の両方で、複数のビジョンタスクにおいて一貫性があり信頼性の高い結果を示した。