[論文レビュー] Event-Driven Visual-Tactile Sensing and Learning for Robots

Tasbolat Taunyazov, Weicong Sng+6 more|arXiv (Cornell University)|Sep 15, 2020

Advanced Memory and Neural Computing参考文献 45被引用数 6

ひとこと要約

本論文は、神経モルフィックなタクトイルセンサー（NeuTouch）と視覚・タクトイルスパikingニューラルネットワーク（VT-SNN）を用いたイベント駆動型の視覚・タクトイル感知システムを提案する。このシステムは、効率的で低遅延なロボットの認識を実現し、物体分類および回転スリップ検出において競争力ある精度を達成—タクトイルのみで最大91％の精度を実現—、Intel Loihi上でGPUと比較して1,900倍の低消費電力となる。これは、知能ロボットのためのスケーラブルでエネルギー効率の良いフレームワークを示している。

ABSTRACT

This work contributes an event-driven visual-tactile perception system, comprising a novel biologically-inspired tactile sensor and multi-modal spike-based learning. Our neuromorphic fingertip tactile sensor, NeuTouch, scales well with the number of taxels thanks to its event-based nature. Likewise, our Visual-Tactile Spiking Neural Network (VT-SNN) enables fast perception when coupled with event sensors. We evaluate our visual-tactile system (using the NeuTouch and Prophesee event camera) on two robot tasks: container classification and rotational slip detection. On both tasks, we observe good accuracies relative to standard deep learning methods. We have made our visual-tactile datasets freely-available to encourage research on multi-modal event-driven robot perception, which we believe is a promising approach towards intelligent power-efficient robot systems.

研究の動機と目的

• ロボットエンドエフェクタ用にスケーラブルでイベント駆動型のタクトイルセンシングシステムを開発し、リアルタイムで低消費電力のタッチ認識を可能にする。
• 同期型ディープラーニングの限界を克服するため、生物学的神経処理を模倣した非同期でイベント駆動型の認識フレームワークを提案する。
• 視覚およびタクトイルのイベントデータをスパキングニューラルネットワーク（SNN）で統合し、ロボットタスクにおける認識精度と速度を向上させる。
• 物体分類およびスリップ検出の系統的実験を通じて、ロボティクスにおけるエンドツーエンドのイベント駆動型認識の実現可能性を実証する。
• マルチモーダルで低消費電力のロボット認識分野の研究を促進するため、公開可能な最初のイベント駆動型視覚・タクトイルデータセットをリリースする。

提案手法

• タクトイルスティムに比例する非同期スパイクイベントを生成する39タクセルの神経モルフィックなフィンガータイプセンサーであるNeuTouchを設計・製造し、スケーラブルで低遅延なタクトイルセンシングを実現する。
• プロフェシーのイベントカメラとNeuTouchセンサーを統合し、マルチモーダルな認識を可能にする非同期の視覚およびタクトイルイベントストリームを取得する。
• 視覚およびタクトイルのスパイクトレインを処理する視覚・タクトイルスパキングニューラルネットワーク（VT-SNN）を開発し、早期分類を促進するための時間的重み付きスパイクカウント損失関数を採用する。
• スパイクベースのバックプロパゲーションを用いてVT-SNNを訓練し、初期スパイクに高い重要性を割り当てる新しい損失関数（$\mathcal{L}_{\omega}$）を導入することで、応答速度を向上させる。
• 実時間シミュレーション環境下で、GPU（RTX 2080Ti）およびIntel Loihi神経モルフィックチップの両方で訓練済みのVT-SNNをデプロイし、遅延および消費電力効率をベンチマークする。
• 時間ボーリング推論プロトコル（1msステップ）を用いて、実世界のデータフローをシミュレートし、ハードウェアプラットフォーム間でのパフォーマンスを比較する。

実験結果

リサーチクエスチョン

• RQ1 NeuTouchのようなイベント駆動型タクトイルセンサーは、タクセル数を増加させても低遅延および低消費電力の状態を維持してスケーラブルに拡張可能か？
• RQ2 視覚およびタクトイルのマルチモーダルイベントデータで訓練されたスパキングニューラルネットワーク（SNN）は、ロボット認識タスクにおいて、標準的な人工ニューラルネットワーク（ANN）と比較して同等または優れた性能を達成可能か？
• RQ3 時間的重み付きスパイクカウント損失は、イベント駆動型認識システムにおける早期分類性能を向上させるか？
• RQ4 イベント駆動型認識システムは、特にリアルタイムのロボティクスアプリケーションにおいて、従来のGPUベースの推論と比較してどの程度の消費電力削減が可能か？
• RQ5 公開可能なイベント駆動型視覚・タクトイルデータセットは、マルチモーダルで低消費電力のロボット認識分野の研究を加速できるか？

主な発見

• VT-SNNは視覚およびタクトイルの両モダリティを用いて物体分類で100％の精度を達成し、$\mathcal{L}_{\omega}$を用いたタクトイルのみのデータで91％の精度を達成。これはMLP-GRUベースライン（87％）を上回っている。
• 回転スリップ検出において、両モダリティを用いた場合の分類精度は完璧な1.00に達し、$\mathcal{L}_{\omega}$を用いたタクトイルのみの精度も91％に達した。これは、強力な早期検出能力を示している。
• VT-SNNはIntel Loihi上で1,039.9 μsの推論遅延を達成し、GPU（1,045.6 μs）と同等の性能を示したが、消費電力は32.3 mWにまで低下し、GPUの61,930 mWと比較して1,900倍も低減した。
• 時間的重み付きスパイクカウント損失（$\mathcal{L}_{\omega}$）は早期分類性能を顕著に向上させ、刺激入力後0.05秒以内に高い精度が観察された。
• システムはスリップ発生後0.08秒以内にスリップを検出でき、視覚・タクトイルのスパイク処理が約1 msごとに行われ、リアルタイムの応答性を実現した。
• 研究者らは、RGB画像、プロピrioceptiveデータ、およびイベントストリームを含む、公開可能な最初のイベント駆動型視覚・タクトイルデータセットをリリースし、将来的なマルチモーダルでイベント駆動型のロボティクス研究を支援した。