[論文レビュー] A toolbox for neuromorphic sensing in robotics

Julien Dupeyroux, Stroobants, Stein+1 more|arXiv (Cornell University)|Mar 3, 2021

Advanced Memory and Neural Computing参考文献 36被引用数 7

ひとこと要約

本論文は、従来のロボットセンサデータ（例：IMU、ソナー、ビデオ）を複数の符号化アルゴリズムを用いてスパイクトレインに変換できる、ROS統合型のツールボックスを紹介している。Spiking Neural Networks（SNN）向けのリアルタイムな符号化/復号化を可能にし、SF、MW、BSA、HSAなどの符号化方式のベンチマークを実施することで、神経形状ロボティクス統合の障壁を顕著に低減している。

ABSTRACT

The third generation of artificial intelligence (AI) introduced by neuromorphic computing is revolutionizing the way robots and autonomous systems can sense the world, process the information, and interact with their environment. The promises of high flexibility, energy efficiency, and robustness of neuromorphic systems is widely supported by software tools for simulating spiking neural networks, and hardware integration (neuromorphic processors). Yet, while efforts have been made on neuromorphic vision (event-based cameras), it is worth noting that most of the sensors available for robotics remain inherently incompatible with neuromorphic computing, where information is encoded into spikes. To facilitate the use of traditional sensors, we need to convert the output signals into streams of spikes, i.e., a series of events (+1, -1) along with their corresponding timestamps. In this paper, we propose a review of the coding algorithms from a robotics perspective and further supported by a benchmark to assess their performance. We also introduce a ROS (Robot Operating System) toolbox to encode and decode input signals coming from any type of sensor available on a robot. This initiative is meant to stimulate and facilitate robotic integration of neuromorphic AI, with the opportunity to adapt traditional off-the-shelf sensors to spiking neural nets within one of the most powerful robotic tools, ROS.

研究の動機と目的

• ロボティクス分野における神経形状対応センサの不足に応えるために、標準センサのスパイクベース符号化を可能にする。
• 神経形状AIシステムにおけるセンシングボトルネックを解消するため、標準化されたリアルタイム符号化パイプラインを提供する。
• 広く採用されているROSフレームワークを活用して、神経形状AIを既存のロボットプラットフォームに容易に統合する。
• ロボティクスセンシングタスクにおける性能、正確性、効率性を評価するため、複数のスパイク符号化アルゴリズムをベンチマーク化する。
• 即時展開と拡張が可能なオープンソースのMATLAB、Python、ROS実装を提供する。

提案手法

• ツールボックスは、アナログまたはデジタルセンサ信号をスパイクトレインに変換するための7つのスパイク符号化アルゴリズム（GRF、TBR、SF、MW、BSA、HSA、T-HSA）を実装している。
• 各アルゴリズムは、符号号（+1、-1）とタイムスタンプを持つイベントの系列に入力信号を符号化し、スパイクニューラルネットワークとの互換性を確保する。
• システムはROSにネイティブ統合されており、カスタムメッセージ型（spyke.msg、spyke_array.msg）とROSノードを介してリアルタイムデータストリーミングを実現している。
• 符号化および復号化関数はPythonで実装されており、標準のROS起動ファイルを介してロボットセンサとシームレスに統合可能である。
• ベンチマークでは、合成および実際のセンサ信号を用いて、再構成精度、スパイク数、時間的精度の観点から符号化方式を評価している。
• ROS bag記録システムによりスパイクデータをログ記録し、データ分析および可視化のためのPythonスクリプトを提供している。

実験結果

リサーチクエスチョン

• RQ1 どのスパイク符号化アルゴリズムが、標準ロボットセンサからの信号再構成において最も高い正確性を示すか？
• RQ2 異なる符号化方式は、信号ダイナミクスの変化に応じて、スパイク数および時間的分解能においてどのように性能を発揮するか？
• RQ3 ソフトウェアベースのスパイク符号化を用いることで、市販センサを神経形状処理に効果的に適応できるか？
• RQ4 実装済みの方式において、符号化の複雑さ、再構成忠実度、計算負荷の間にはどのようなトレードオフが生じるか？
• RQ5 ROSベースのツールボックスは、どのようにリアルタイムかつハードウェアに依存しない神経形状センシングをロボットシステムに実現するか？

主な発見

• SF（ステップフォワード）およびMW（モービングウィンドウ）アルゴリズムは、最小限の遅延と高い時間的忠実度を実現し、多周波数信号の再構成において優れた性能を示した。
• BSA（ベンズスパイクアルゴリズム）およびHSA（ハフスパイクアルゴリズム）は、信号振幅の変動にかかわらず安定したスパイク出力を示し、効果的なレートベース符号化を実現した。
• T-HSA（スレッショルドハフスパイクアルゴリズム）は、適応的スレッショルド機構のおかげでノイズに強く、特に低SNR条件下でも優れた耐性を示した。
• ツールボックスは、SFアルゴリズムを用いてビデオストリームのリアルタイムスパイク符号化に成功し、しきい値制御による感度を調整可能なイベントベースカメラの動作をエミュレートした。
• ベンチマーク結果から、集団符号化（GRF）および時間的符号化（TBR）方式は、動的信号条件下でレートベース手法よりも高い再構成正確性を示した。
• ROS統合により、シームレスなデータログ記録と処理が可能となり、スパイクストリームはrosbagsに記録され、フィールドロボティクスアプリケーションへの信頼性を検証した。