[論文レビュー] Embodied Neuromorphic Vision with Event-Driven Random Backpropagation

Jacques Kaiser, Alexander W. Friedrich+5 more|arXiv (Cornell University)|Apr 9, 2019

Advanced Memory and Neural Computing参考文献 14被引用数 8

ひとこと要約

本論文は、動的ビジョンセンサー（DVS）イベントストリーム上でスパikingニューラルネットワークを学習するためのイベント駆動型ランダムバックプロパゲーション（eRBP）を提案し、ロボットのアフォーダンス分類において人間水準の反応速度を達成した。eRBPを隠れた注意メカニズムおよび微小揺き目運動と統合することで、運動開始後100ms以内に把持可能アフォーダンスを分類可能となり、生物学的性能と同等の性能を発揮しながら低消費電力かつ高速に動作した。

ABSTRACT

Spike-based communication between biological neurons is sparse and unreliable. This enables the brain to process visual information from the eyes efficiently. Taking inspiration from biology, artificial spiking neural networks coupled with silicon retinas attempt to model these computations. Recent findings in machine learning allowed the derivation of a family of powerful synaptic plasticity rules approximating backpropagation for spiking networks. Are these rules capable of processing real-world visual sensory data? In this paper, we evaluate the performance of Event-Driven Random Back-Propagation (eRBP) at learning representations from event streams provided by a Dynamic Vision Sensor (DVS). First, we show that eRBP matches state-of-the-art performance on the DvsGesture dataset with the addition of a simple covert attention mechanism. By remapping visual receptive fields relatively to the center of the motion, this attention mechanism provides translation invariance at low computational cost compared to convolutions. Second, we successfully integrate eRBP in a real robotic setup, where a robotic arm grasps objects according to detected visual affordances. In this setup, visual information is actively sensed by a DVS mounted on a robotic head performing microsaccadic eye movements. We show that our method classifies affordances within 100ms after microsaccade onset, which is comparable to human performance reported in behavioral study. Our results suggest that advances in neuromorphic technology and plasticity rules enable the development of autonomous robots operating at high speed and low energy consumption.

研究の動機と目的

• eRBP、すなわち生物学的にインspiredされた学習ルールが、DVSからの現実世界のイベントベースの視覚データから効果的に学習できるかどうかを評価すること。
• 畳み込み層を用いずに、スパikingネットワークにおける変換不変性を向上させるために、隠れた注意メカニズムを導入すること。
• リアルタイムの感覚フィードバックを備えたクローズドループシステムにおいて、eRBPを用いたエンドツーエンドのロボットの把持を実証すること。
• 神経形態的ハードウェアとスパikingニューラルネットワークを用いて、視覚的アフォーダンス検出において人間水準の反応速度を達成すること。

提案手法

• eRBPは、固定されたランダムなフィードバック重みと局所的な前シナプスおよび後シナプス活動を用いて、スパikingニューラルネットワークにおけるバックプロパゲーションを近似する。
• ネットワークは、生物学的スパイク行動をモデル化するため、非微分可能な活性化関数を有するハードスイッチングのLeaky Integrate-and-Fireニューロンを用いる。
• 隠れた注意メカニズムは、運動中心に対して受容野を動的に再マップすることで、低コストで変換不変性を実現する。
• 微小揺き目運動を用いて、視覚入力を能動的にサンプリングし、オンライン学習に適したスパースだが情報量の多いイベントストリームを生成する。
• ネットワークは、レートコード化されたラベルと、出力ニューロンから隠れ層へのランダムなフィードバック重みによる誤差フィードバックを用いて、教師あり学習で訓練される。
• システムはロボットアームおよびハンドと統合されており、検出されたアフォーダンスがリアルタイムの把持行動をトリガーする。

実験結果

リサーチクエスチョン

• RQ1 eRBPは、現実世界のDVSイベントストリームから視覚的表現を効果的に学習できるか？
• RQ2 提案された隠れた注意メカニズムは、畳み込み層を用いずにスパikingネットワークの性能と変換不変性を向上させるか？
• RQ3 eRBPは、クローズドループのロボットシステムにおいてリアルタイムで低遅延のアフォーダンス分類を可能にするか？
• RQ4 本システムの反応時間は、人間の行動的ベンチマークと比較してどの程度か？
• RQ5 最小限のトレーニングデータで、新しい物体の位置や形状に対して、ネットワークはどの程度一般化するか？

主な発見

• eRBPはDvsGestureデータセットで最先端の性能を達成し、隠れた注意メカニズムの追加により分類精度が顕著に向上した。
• 微小揺き目開始後約100msで視覚的アフォーダンスが分類された。これは、行動研究で報告された人間の反応時間と一致した。
• 微小揺き目中の入力がスパースであったにもかかわらず、隠れ層に持続的なスパイク活動が観察され、神経ダイナミクスから出現する短期記憶の兆候が示された。
• ボールおよびペンの把持を高い信頼性で正しく分類したが、透明なボトルや背景についてはイベント数が少なかったため、性能が低かった。
• 1つの例ずつで各アフォーダンスクラスを学習したにもかかわらず、同じ形状の物体やわずかな位置シフトに対して中程度の一般化性能を示した。
• 微小揺き目中に背景の変化や予期しない運動が生じた場合、背景は「何もしない」クラスとして学習されていたため、ネットワークはその影響に敏感であった。