[論文レビュー] Exploration of Reinforcement Learning for Event Camera using Car-like Robots

Riku Arakawa, Shintaro Shiba|arXiv (Cornell University)|Apr 2, 2020

Advanced Memory and Neural Computing参考文献 31被引用数 4

ひとこと要約

本論文は、イベントカメラを用いたロボット用の最初の強化学習（RL）システムを提示し、シミュレーションおよび実世界での展開において100 Hzでリアルタイムの衝突回避と物体追跡を実現した。イベントストリームを画像に類似した特徴に変換することで、シミュレーション内でのエンド・ツー・エンドのRL学習が可能になり、実際のカー型ロボットへのポリシー転送にも成功した。制御応答時間はミリ秒未塔であり、遅延が最小限に抑えられた。

ABSTRACT

We demonstrate the first reinforcement-learning application for robots equipped with an event camera. Because of the considerably lower latency of the event camera, it is possible to achieve much faster control of robots compared with the existing vision-based reinforcement-learning applications using standard cameras. To handle a stream of events for reinforcement learning, we introduced an image-like feature and demonstrated the feasibility of training an agent in a simulator for two tasks: fast collision avoidance and obstacle tracking. Finally, we set up a robot with an event camera in the real world and then transferred the agent trained in the simulator, resulting in successful fast avoidance of randomly thrown objects. Incorporating event camera into reinforcement learning opens new possibilities for various robotics applications that require swift control, such as autonomous vehicles and drones, through end-to-end learning approaches.

研究の動機と目的

• 標準のRGBカメラの30–60 Hzのフレームレート制限を超えて、イベントカメラを用いた強化学習による高速ロボット制御を可能にすること。
• 神経モルフィックセンサから得られる非同期的イベントストリームを、従来のディープRLアルゴリズムの入力として処理する手法を開発すること。
• イベントカメラを搭載した実際のロボットへのポリシー転送を成功させること（DAVIS240を用いて）。
• エンド・ツー・エンドのRLとイベントベースのビジョンを用いた、動的環境下での高速かつ低遅延のロボット制御の実現可能性を検証すること。

提案手法

• 短い時間窓内でイベントを蓄積することで、原始的なイベントストリームを画像に類似した特徴に変換し、RLで一般的に使用される畳み込みニューラルネットワークとの互換性を確保した。
• 2つのタスク（高速衝突回避と物体追跡）について、画像に類似したイベント特徴を用いてシミュレーション環境でディープRLエージェントを学習させた。
• エピソード全体にわたる累積報酬を最適化するために、探索戦略を備えた深層Qネットワーク（DQN）または類似のRLアーキテクチャを用いた。
• Raspberry Pi 3上でWebSocket APIを介してGoPiGo3ロボットにポリシーをデプロイし、計算負荷をリモートサーバーで処理するようにした。
• libcaerとEventVisionLibraryを用いてリアルタイムのイベントデータを処理し、RLエージェントへの低遅延入力を実現した。
• シミュレーションで学習し、微調整なしに直接実際のロボットにデプロイするというトランスファーラーニングを適用した。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、ロボット制御のためのイベントカメラデータに効果的に適用可能か？
• RQ2 イベントストリームから導出された画像に類似した特徴は、シミュレーション内での安定的かつ高速なRL学習を可能にするか？
• RQ3 シミュレーションで学習したポリシーは、イベントカメラを搭載した実際のロボットに成功裏に転送可能か？
• RQ4 イベントカメラベースのRLは、従来のカメラベースシステムよりも顕著に高い制御周波数を実現可能か？
• RQ5 イベントカメラベースのRLは、従来のビジョンベースのRLと比較して、遅延と反応性の面で優れているか？

主な発見

• シミュレーション内での障害物回避タスクにおいて、報酬の合計がエピソードを経て増加したため、エージェントが有効なポリシーを習得したことが示された。
• 異なる乱数シードを用いた9回の試行において、学習プロセスが安定した収束を示し、強靭性と再現可能性が確認された。
• 学習済みポリシーは、DAVIS240イベントカメラを搭載した実際のGoPiGo3ロボットに成功裏に転送された。
• 突然前方に物体が投げ込まれた際、ロボットは停止してリアルタイムの衝突回避を実現し、ミリ秒未塔の応答時間を達成した。
• サーバー上の推論遅延は1ステップあたり約9 msであり、100 Hzの制御周波数を達成しており、標準の30–60 Hzカメラシステムよりも顕著に高速であった。
• 結果から、エンド・ツー・エンドのRLとイベントカメラを用いた低遅延のロボット制御が、実世界の環境でも実現可能であることが確認された。