[論文レビュー] Matrix-LSTM: a Differentiable Recurrent Surface for Asynchronous Event-Based Data.

Marco Cannici, Marco Ciccone+2 more|arXiv (Cornell University)|Jan 10, 2020

Advanced Memory and Neural Computing参考文献 25被引用数 6

ひとこと要約

本稿では、動的ビジョンセンサ（DVS）からのイベントベースデータを、LSTMセルのグリッドを用いて微分可能で再帰的な方法で再構築することで、タスク固有の表現に変換する、Matrix-LSTMを提案する。エンド・トゥ・エンドの訓練により、MVSECでのオプティカルフロー推定が向上し、N-Carsでのイベントベースの物体分類において最先端の性能を達成する。

ABSTRACT

Dynamic Vision Sensors (DVSs) asynchronously stream events in correspondence of pixels subject to brightness changes. Differently from classic vision devices, they produce a sparse representation of the scene. Therefore, to apply standard computer vision algorithms, events need to be integrated into a frame or event-surface. This is usually attained through hand-crafted grids that reconstruct the frame using ad-hoc heuristics. In this paper, we propose Matrix-LSTM, a grid of Long Short-Term Memory (LSTM) cells that efficiently process events and learn end-to-end task-dependent event-surfaces. Compared to existing reconstruction approaches, our learned event-surface shows good flexibility and expressiveness on optical flow estimation on the MVSEC benchmark and it improves the state-of-the-art of event-based object classification on the N-Cars dataset.

研究の動機と目的

• 動的ビジョンセンサ（DVS）からのイベントベースデータの再構築において、手作業で設計されたグリッドの限界を解決すること。
• 下流のビジョンタスクに適応する、タスク固有の、エンド・トゥ・エンドで学習可能なイベントサーフェスを学習すること。
• 非同期のイベントデータを用いて、オプティカルフロー推定と物体分類の性能を向上させること。
• ヒューリスティックに基づくフレーム統合を、微分可能で学習可能な再帰的アーキテクチャに置き換えること。

提案手法

• Matrix-LSTMは、非同期イベントを微分可能に処理するためのLSTMセルのグリッドを用いる。
• 各LSTMセルは、局所的な空間領域内のイベントを処理し、イベント間の時間的依存関係を捉える。
• エンド・トゥ・エンドの訓練を通じて、連続的で微分可能なイベントサーフェス表現を学習する。
• このアーキテクチャにより、イベント統合と下流タスクのパフォーマンスの共同最適化が可能になる。
• 従来の固定グリッド統合を、学習可能な再帰的処理メカニズムに置き換える。
• モデルは、オプティカルフローと分類などの下流タスク上でエンド・トゥ・エンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 学習可能な再帰的アーキテクチャは、イベントベースデータの再構築において、手作業で設計されたグリッドを上回ることができるか？
• RQ2 微分可能なイベントサーフェスは、MVSECベンチマークにおけるオプティカルフロー推定をどの程度改善できるか？
• RQ3 Matrix-LSTMは、N-Carsデータセットにおけるイベントベースの物体分類で最先端の性能を達成できるか？
• RQ4 イベントサーフェスのエンド・トゥ・エンド訓練が、下流タスクの精度をどの程度向上させるか？
• RQ5 従来の統合手法と比較して、学習されたイベントサーフェスの表現力と柔軟性はいかがなものか？

主な発見

• Matrix-LSTMは、N-Carsデータセットにおけるイベントベースの物体分類で最先端の性能を達成する。
• 学習されたイベントサーフェスは、先行手法と比較して、MVSECベンチマークにおけるオプティカルフロー推定を向上させる。
• 手作業で設計されたグリッドベースの統合よりも、モデルはより高い柔軟性と表現力を持つ。
• エンド・トゥ・エンドの訓練により、下流のパフォーマンスを向上させるタスク固有の表現をネットワークが学習できる。
• 微分可能な再帰的構造は、スパarsで非同期なイベントストリームの時間的ダイナミクスを効果的に捉える。
• ヒューリスティックな統合ルールへの依存を低減し、適応的でデータ駆動型のサーフェス構築を可能にする。