[論文レビュー] Representation Learning for Event-based Visuomotor Policies

Sai Vemprala, Sami Mian+1 more|arXiv (Cornell University)|Mar 1, 2021

Advanced Vision and Imaging参考文献 44被引用数 9

ひとこと要約

本稿では、イベントカメラからの非同期的・スパースな時空間イベントストリームから直接、コン pact で不変な表現を学習するためのイベント変分オートエンコーダ（eVAE）を提案する。時間的埋め込みと教師なし事前学習を活用することで、eVAEは高速かつより頑健な強化学習を、高速障害物回避における視覚運動政策に可能にし、一般化性、スパarsity、ノイズ耐性において画像ベースのベースラインを上回る性能を発揮する。

ABSTRACT

Event-based cameras are dynamic vision sensors that provide asynchronous measurements of changes in per-pixel brightness at a microsecond level. This makes them significantly faster than conventional frame-based cameras, and an appealing choice for high-speed navigation. While an interesting sensor modality, this asynchronously streamed event data poses a challenge for machine learning techniques that are more suited for frame-based data. In this paper, we present an event variational autoencoder and show that it is feasible to learn compact representations directly from asynchronous spatiotemporal event data. Furthermore, we show that such pretrained representations can be used for event-based reinforcement learning instead of end-to-end reward driven perception. We validate this framework of learning event-based visuomotor policies by applying it to an obstacle avoidance scenario in simulation. Compared to techniques that treat event data as images, we show that representations learnt from event streams result in faster policy training, adapt to different control capacities, and demonstrate a higher degree of robustness.

研究の動機と目的

• イベントカメラからの非同期的・スパースなイベントデータに従来の機械学習を適用する課題に対処すること。
• 時系列解像度を保持し、データの順序入れ替えやスパarsityに対して不変な表現学習フレームワークを構築すること。
• フレームベースの入力ではなく、イベントストリーム表現を用いてエンドツーエンドの強化学習を可能にすること。
• 異なる制御レート、環境分布、センサーノイズの下でも、ポリシーの一般化性能を向上させること。
• 学習済みイベント表現を用いた高精度なロボットナビゲーションタスクにおける実現可能性と利点を示すこと。

提案手法

• スパティオトランスポート特徴ネットワークを用いて、原始的で非同期的なイベントバイトストリームを処理するイベント変分オートエンコーダ（eVAE）を提案する。
• Transformerにインspiredされた時間的埋め込み機構を採用し、潜在空間におけるイベントタイミング情報を保持する。
• 変分推論フレームワークを用いて、任意長のイベント系列から滑らかで分離可能かつコンパクトな表現を学習する。
• バッチ処理または再帰的処理の両方を可能にし、変動する制御周波数に適応するリアルタイム推論と適応を実現する。
• eVAEで学習した表現を観測値として用いて、強化学習により視覚運動ポリシーを訓練する。
• eVAEをポリシーネットワークと統合し、異なるデータレートや環境分布にわたる一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 原始的なイベントストリームからの教師なし表現学習が、視覚運動制御に適したコンパクトで意味のある表現を生成できるか？
• RQ2 eVAEで学習した表現を用いることで、強化学習において画像ベースの手法と比較して、学習速度と頑健性が向上するか？
• RQ3 eVAE表現で学習したポリシーは、障害物のテクスチャ・形状・運動パターンが異なる分布外環境にも一般化できるか？
• RQ4 背景活動ノイズなどの誘導されたデータスパarsityやセンサーノイズ条件下で、eVAE表現はどのように性能を発揮するか？
• RQ5 eVAE表現は、イベントカメラのしきい値や制御レートの変動に対し、どの程度性能を維持できるか？

主な発見

• eVAE表現で学習したポリシーは、シミュレーテッド障害物回避タスクにおいて、エンドツーエンドの画像ベース手法と比較して、より速い収束を達成した。
• eVAE表現を用いることで、異なる障害物のテクスチャや形状に対してもポリシーが一般化でき、分布外設定においてエンドツーエンド画像ポリシー（EIP）を上回った。
• ピクセルドロップアウトによって50%スパースになったイベントデータに対しても、eVAEベースのポリシーは高い性能を維持した。これは、スパarsityに対する耐性を示している。
• eVAE表現は、イベントカメラのしきい値の変化に対して不変性を示し、再トレーニングなしに異なる感度レベルに適応可能であった。
• 背景活動ノイズの存在下でも、eVAEベースのポリシー（BRP）はEIPを上回ったが、BRP-fullはBRP-xyよりもポリティノイズに対してより感受性が高かった。
• eVAEフレームワークにより、動的テクスチャや複合障害物タイプを含む未確認の環境へのポリシー転送が効果的に行われ、その一般化能力が確認された。