[論文レビュー] EventNet: Asynchronous Recursive Event Processing

Yusuke Sekikawa, Kosuke O. Hara+1 more|arXiv (Cornell University)|Dec 7, 2018

Advanced Memory and Neural Computing参考文献 30被引用数 4

ひとこと要約

EventNet は、新しい時間的符号化方式と多層パーセプトロン（MLP）のルックアップテーブル（LUT）置換を用いることで、非同期的なイベントストリームを逐次的に処理できる再帰的でイベント単位のニューラルネットワークである。標準のCPU上で100万イベント/秒を超える処理を達成し、セマンティックセグメンテーションやモーション推定などの応用において低遅延で重複のない推論を可能にする。

ABSTRACT

Event cameras are bio-inspired vision sensors that mimic retinas to asynchronously report per-pixel intensity changes rather than outputting an actual intensity image at regular intervals. This new paradigm of image sensor offers significant potential advantages; namely, sparse and non-redundant data representation. Unfortunately, however, most of the existing artificial neural network architectures, such as a CNN, require dense synchronous input data, and therefore, cannot make use of the sparseness of the data. We propose EventNet, a neural network designed for real-time processing of asynchronous event streams in a recursive and event-wise manner. EventNet models dependence of the output on tens of thousands of causal events recursively using a novel temporal coding scheme. As a result, at inference time, our network operates in an event-wise manner that is realized with very few sum-of-the-product operations---look-up table and temporal feature aggregation---which enables processing of 1 mega or more events per second on standard CPU. In experiments using real data, we demonstrated the real-time performance and robustness of our framework.

研究の動機と目的

• イベントカメラからのスパarsな非同期イベントデータを効率的に処理できないフレームベースの深層学習モデル（例：CNN）の非効率性に対処する。
• 密な同期処理に起因する計算の冗長性を解消するために、変化したピクセルのみをリアルタイムに処理するネットワークを設計する。
• イベント駆動の特徴更新とオンデマンドでの出力計算を分離することで、低遅延のリアルタイム推論を実現する。
• 数十万件の因果的イベントにわたる長期的な時間的依存関係を効率的にモデル化できる再帰的アーキテクチャを開発する。
• 実際のイベントデータを用いて、セマンティックセグメンテーション、オブジェクトモーション推定、エゴモーション推定といった実世界のビジョンタスクへの適用性を示す。

提案手法

• 位相回転と複素数のマックスプーリングを組み合わせた複雑な時間的符号化層を用いて、時間的依存関係を再帰的に定式化する。
• 推論時に計算コストの高いMLPを学習済みルックアップテーブル（LUT）に置き換えることで、積和演算の数を大幅に削減する。
• ネットワークを2つの非同期モジュールに分解する：イベント駆動モジュール（グローバル特徴の更新）とオンデマンドモジュール（最終出力予測）。
• オンデマンドモジュールに軽量なMLPを適用し、要求がある場合にのみ最終予測を計算することで、無駄な計算を回避する。
• 出力層を除くすべての層にバッチ正則化を適用し、学習の安定化と一般化性能の向上を図る。
• ポイントネットにインspiredされた順序に依存しない性質を最大プーリングにより活用するが、時間的イベントストリームに適応させたものである。

実験結果

リサーチクエスチョン

• RQ1 入力データを密度化せずに、非同期イベントストリームをイベント単位で再帰的に処理できるニューラルネットワークは構築可能か？
• RQ2 高レートのイベントストリームにおける長期的時間的依存関係を、高い計算コストを伴わずに効率的にモデル化できるか？
• RQ3 複素数の位相回転による明示的な時間的符号化は、単純な減衰または時間的モデリングなしのものと比較して、性能向上にどの程度寄与するか？
• RQ4 標準のMLPの計算ボトル neck をLUTに基づく因子分解によって解消できるか、精度を損なわずに行えるか？
• RQ5 標準のCPU上で再帰的でイベント駆動のアーキテクチャを用いて、100万イベント/秒以上のリアルタイム推論（1+ MHz）を達成するのは可能か？

主な発見

• EventNet は標準のCPU上で100万イベント/秒（MEPS）を超える処理を実現し、高レートのイベントストリームにおけるリアルタイム処理の可能性を示した。
• MLPのLUTによる置換により、積和演算の数が削減され、最小限の遅延で効率的なイベント単位処理が可能になった。
• オンデマンド推論モジュールは1 kHz以上でリクエストに応答し、低遅延の出力生成が確認された。
• 時間的減衰なしのEventNetは、再帰的制約を満たせず、1 MEPSをリアルタイムで処理できなかったが、それでも最高のモーション推定精度を達成していた。
• 時間的回転なしのEventNetは、完全なモデルより高速であったが性能が低下しており、複素数の位相回転が時間的ダイナミクスを捉える上で極めて重要であることが示された。
• 時間的符号化なしのバージョン（タイムスタンプ入力なしのポイントネットに相当）は最も悪く、リアルタイムでの動作が不可能であり、スケーラビリティとパフォーマンスの観点から時間的符号化の必要性が強く裏付けられた。