[論文レビュー] Embodied Event-Driven Random Backpropagation.

Jacques Kaiser, Alexander W. Friedrich+5 more|arXiv (Cornell University)|Apr 9, 2019

Advanced Memory and Neural Computing参考文献 24被引用数 4

ひとこと要約

本論文は、動的ビジョンセンサー（DVS）イベントストリームからの効率的で低消費電力の表現学習を可能にする、スパikingニューラルネットワークの学習ルールであるイベント駆動型ランダムバックプロパゲーション（eRBP）を提案する。eRBPを、翻訳不変性を提供するための隠れた注意メカニズムと統合し、微小揺き目運動を伴うロボットシステムに実装することで、100ms以内に人間水準のアフォーダンス分類を達成し、自律ロボットにおけるリアルタイムでエネルギー効率の良い視覚処理を実証した。

ABSTRACT

Spike-based communication between biological neurons is sparse and unreliable. This enables the brain to process visual information from the eyes efficiently. Taking inspiration from biology, artificial spiking neural networks coupled with silicon retinas attempt to model these computations. Recent findings in machine learning allowed the derivation of a family of powerful synaptic plasticity rules approximating backpropagation for spiking networks. Are these rules capable of processing real-world visual sensory data? In this paper, we evaluate the performance of Event-Driven Random Backpropagation (eRBP) at learning representations from event streams provided by a Dynamic Vision Sensor (DVS). First, we show that eRBP matches state-of-the-art performance on DvsGesture with the addition of a simple covert attention mechanism. By remapping visual receptive fields relatively to the center of the motion, this attention mechanism provides translation invariance at low computational cost compared to convolutions. Second, we successfully integrate eRBP in a real robotic setup, where a robotic arm grasps objects with respect to detected visual affordances. In this setup, visual information is actively sensed by a DVS mounted on a robotic head performing microsaccadic eye movements. We show that our method quickly classifies affordances within 100ms after microsaccade onset, comparable to human performance reported in behavioral study. Our results suggest that advances in neuromorphic technology and plasticity rules enable the development of autonomous robots operating at high speed and low energy budget.

研究の動機と目的

• 動的ビジョンセンサー（DVS）が記録した現実世界の視覚的センサー・データから、イベント駆動型バックプロパゲーションルールが効果的に表現を学習できるかどうかを評価すること。
• 高価な畳み込み演算に依存せずに、翻訳不変性を提供するための、eRBPの改善に向けた隠れた注意メカニズムの統合。
• 微小揺き目運動による能動的視覚入力のサンプリングを伴う実際のロボットシステムにおいて、この手法の妥当性を検証すること。
• このシステムが、微小揺き目発生後100ms以内に高速かつ人間水準の分類速度（リアルタイムのロボットタスクにおいて）を達成できるかどうかを示すこと。

提案手法

• 本論文は、スパikingニューラルネットワークにおけるバックプロパゲーションを、疎でイベント駆動型の信号を用いて近似するシナプス可塑性ルールであるイベント駆動型ランダムバックプロパゲーション（eRBP）を採用する。
• 視覚受容野を運動中心に対して再マップするための隠れた注意メカニズムが導入され、最小限の計算コストで翻訳不変性を実現する。
• DVSがロボットヘッドに取り付けられたロボットシステムに、この手法が統合され、能動的に視覚入力をサンプリングするための微小揺き目運動が実行される。
• スパイクベース通信とイベント駆動型学習により、動的視覚ストリームの低エネルギーで高速な処理が可能になる。
• ネットワークは、物体との相互作用タスク中に生成されるイベントストリームに基づいて、視覚的アフォーダンスを分類するように訓練される。
• 性能評価は、DvsGestureベンチマークおよびリアルタイム制約下での実際のロボットグリッピング設定で実施される。

実験結果

リサーチクエスチョン

• RQ1 eRBPは、ロボット環境における現実世界のDVSイベントストリームから、視覚的表現を効果的に学習できるか？
• RQ2 提案された隠れた注意メカニズムは、イベントベース学習における標準的な畳み込みアプローチと比較して、どのように翻訳不変性を向上させるか？
• RQ3 微小揺き目運動による能動的センシングと組み合わせたeRBPは、視覚的アフォーダンス分類において人間水準の速度を達成できるか？
• RQ4 eRBPは、リアルタイムのロボット認識タスクにおいて、計算およびエネルギー効率がどの程度高いか？

主な発見

• eRBPは、隠れた注意メカニズムと組み合わせることで、DvsGestureベンチマークで最先端の性能を達成した。
• 隠れた注意メカニズムは、従来の畳み込み層と比較して、はるかに低い計算コストで翻訳不変性を提供した。
• システムは微小揺き目発生後100ms以内に視覚的アフォーダンスを分類し、人間の行動研究で報告された反応時間と一致した。
• eRBPをロボットプラットフォームに統合することで、イベントベースのセンシング入力を用いたリアルタイムで低消費電力の視覚処理が可能になった。
• 制御された微小揺き目運動による視覚入力のサンプリングが行われる能動的センシングのシナリオにおいて、本手法は頑健な性能を示した。
• 結果から、eRBPにニューモルフィックセンシングと注意メカニズムを組み合わせることで、自律ロボットシステムにおける高速で低消費電力の動作が実現可能であると示唆された。