[論文レビュー] Real-time Classification from Short Event-Camera Streams using Input-filtering Neural ODEs

Giorgio Giannone, Asha Anoosheh+4 more|arXiv (Cornell University)|Apr 7, 2020

Advanced Memory and Neural Computing参考文献 31被引用数 8

ひとこと要約

本論文では、DVSカメラからの非同期的イベントストリームを前処理やイベント統合なしに直接処理できる連続時刻の再帰的アーキテクチャである入力フィルタリングニューラルODE（INODE）を提案する。INODEは、特に少数データの状況下でもLSTMベースラインを上回り、微分方程式に基づく隠れ状態の進化によって正確なタイミング情報を活用することで、優れたサンプル効率とリアルタイム推論能力を示している。

ABSTRACT

Event-based cameras are novel, efficient sensors inspired by the human vision system, generating an asynchronous, pixel-wise stream of data. Learning from such data is generally performed through heavy preprocessing and event integration into images. This requires buffering of possibly long sequences and can limit the response time of the inference system. In this work, we instead propose to directly use events from a DVS camera, a stream of intensity changes and their spatial coordinates. This sequence is used as the input for a novel \emph{asynchronous} RNN-like architecture, the Input-filtering Neural ODEs (INODE). This is inspired by the dynamical systems and filtering literature. INODE is an extension of Neural ODEs (NODE) that allows for input signals to be continuously fed to the network, like in filtering. The approach naturally handles batches of time series with irregular time-stamps by implementing a batch forward Euler solver. INODE is trained like a standard RNN, it learns to discriminate short event sequences and to perform event-by-event online inference. We demonstrate our approach on a series of classification tasks, comparing against a set of LSTM baselines. We show that, independently of the camera resolution, INODE can outperform the baselines by a large margin on the ASL task and it's on par with a much larger LSTM for the NCALTECH task. Finally, we show that INODE is accurate even when provided with very few events.

研究の動機と目的

• 動的ビジョンセンサ（DVS）が生成する高周波で非同期的なイベントストリームからのリアルタイムかつ低遅延分類の課題に対処すること。
• イベント統合や画像化によるバッチ処理を排除することで、時間的精度を損なったり遅延が増加するのを防ぐこと。
• 不規則なタイミングのイベント入力をネイティブに扱える連続時刻の学習フレームワークを構築し、細かいタイミング情報を保持すること。
• 最小限の計算オーバーヘッドで高いサンプル効率を実現するオンライン、イベント単位の推論を可能にすること。

提案手法

• INODEは、ニューラルODE（NODEs）を拡張し、連続的かつ非同期的な入力信号（具体的にはイベントの極性と空間座標）を隠れ状態のダイナミクスに組み込む。
• 不規則なイベント時刻に対応するため、バッチ処理された前向きオイラー法を用いて効率的で安定した学習と推論を実現する。
• 隠れ状態は学習されたODEに従って進化する：dh/dt = f(h, t, x(t))、ここでx(t)は入力イベントストリームを表す。
• 畳み込み層や時間的離散化を経ずに、イベントが直接ODEシステムにフィードバックされ、生のイベントタイミングが保持される。
• 標準的な時間方向のバックプロパゲーションを用い、アドジョイント感度法により勾配を計算することで、エンド・ツー・エンドの学習が可能となる。
• アーキテクチャはオンライン推論をサポートしており、各新しいイベントが到着する度に予測が即座に更新され、低遅延意思決定が可能となる。

実験結果

リサーチクエスチョン

• RQ1 前処理やイベント統合なしに、DVSカメラからの短時間イベントシーケンスを効果的に分類できる連続時刻ニューラルネットワークアーキテクチャは存在するか？
• RQ2 少数のイベントしか利用できない状況下で、INODEはLSTMのような標準的なRNNと比較して、精度と推論速度の面でどの程度優れているか？
• RQ3 INODEはイベントストリーム内の正確な時間情報をどの程度活用しているのか？また、その影響は困難でデータが少ない分類タスクにおいてどのように現れるか？
• RQ4 INODEはカメラ解像度やイベント頻度の変化に対して頑健であるか？多様なハードウェア環境への展開を可能にするか？

主な発見

• ASLデータセットにおいて、INODEはすべてのLSTMベースラインを大きく上回り、学習データの20％のみ、およびたった20件の推論イベントでも高い精度を達成した。
• NCALTECHデータセットでは、128個の隠れユニットを持つ大きなbi-LSTMモデルと同等の性能を示したが、使用した隠れユニットはわずか30個にとどまった。
• 極めて少ないデータでも高い性能を維持し、データの複雑さが増加するか、学習データが減少するにつれてわずかな性能向上を示すため、強いサンプル効率が確認された。
• 非常に少ないイベント数（20イベント/シーケンス）でも正確なオンライン分類が可能であり、リアルタイムで低遅延な応用に適している。
• INODEはカメラ解像度に依存せず、前処理やバッチ化を経ずに、生のノイズの多いイベントストリームを直接処理できる。
• アブレーションスタディにより、連続時刻モデリングによって正確なイベントタイミングを保持することが不可欠であることが確認され、イベントタイミングが離散化されたり失われるとINODEの性能が著しく低下した。