[論文レビュー] Event-based Action Recognition Using Timestamp Image Encoding Network

Chaoxing Huang|arXiv (Cornell University)|Sep 28, 2020

Advanced Memory and Neural Computing参考文献 21被引用数 5

ひとこと要約

本稿では、非同期的なイベントデータを空間時間的なフレームに変換することで、運動ダイナミクスを保持するタイムスタンプ画像符号化2次元CNN手法を提案する。この手法は、ジェスチャー認識で最先端の性能を達成し、実世界のアクションデータセットでも競争力のある結果を示しており、RNNを用いないRGBベースのベンチマークと同等の性能を発揮する。

ABSTRACT

Event camera is an asynchronous, high frequency vision sensor with low power consumption, which is suitable for human action recognition task. It is vital to encode the spatial-temporal information of event data properly and use standard computer vision tool to learn from the data. In this work, we propose a timestamp image encoding 2D network, which takes the encoded spatial-temporal images of the event data as input and output the action label. Experiment results show that our method can achieve the same level of performance as those RGB-based benchmarks on real world action recognition, and also achieve the SOTA result on gesture recognition.

研究の動機と目的

• 空間時間的情報を効果的に符号化することで、イベントベースのデータと標準的なディープラーニングモデルのギャップを埋めること。
• 静的空間符号化を超えて、イベントデータ内の時間的情報がアクション認識に不可欠であることを示すこと。
• 2次元CNNのみを用いて、実世界のアクション認識タスクでRGBベースの手法と同等の性能を達成すること。
• ジェスチャー認識ベンチマークにおいて、既存のイベントベースの手法を上回ること。

提案手法

• イベントデータは、固定時間間隔のスライディングウィンドウを用いてタイムスタンプ画像に符号化され、画素強度はウィンドウ内での相対的タイムスタンプを反映する。
• 正負の極性イベントを別々に符号化し、2つのタイムスタンプ画像を作成した後、それらを統合して1つのマルチチャネルフレームを生成する。
• 空間時間的符号化は、イベントの時間的進行を強調することで、静的イベント画像ヒストグラムとは異なり、運動関連のダイナミクスを保持する。
• エンコードされたタイムスタンプ画像フレームに標準的な2次元CNNを適用し、エンドツーエンドのアクション分類を実現する。
• RNNや3次元畳み込みを避け、効率性と単純さを実現するために、2次元CNNのみに依存する。
• 極性を保存するために、+1および-1のイベントを統合前に別々に符号化し、動きの方向性が表現に保持されるようにする。

実験結果

リサーチクエスチョン

• RQ1 タイムスタンプ画像符号化は、アクション認識のためのイベントデータの空間時間的ダイナミクスを効果的に捉えられるか？
• RQ2 タイムスタンプ符号化による時間的情報の統合は、純粋な空間的イベント画像符号化よりも性能を向上させるか？
• RQ3 タイムスタンプ符号化されたイベントデータを用いた2次元CNNベースのモデルは、RGBベースのモデルと同等の性能を達成できるか？
• RQ4 ジェスチャー認識において、本手法は最先端のイベントベースのアプローチと比較してどのように性能を発揮するか？
• RQ5 なぜ、イベントベースの認識はアクションシーケンスの初期段階で性能が低く、後半では強い性能を発揮するのか？

主な発見

• タイムスタンプ画像表現は5分割交差検証で83.23%の精度を達成し、イベント画像表現（82.00%）を上回った。これは時間的符号化の重要性を確認するものである。
• EV-UCF-11データセットでは92.90%の精度を達成し、RGBベースのベンチマークと同等の性能を示し、既存のイベントベース手法（Motion map + MBH：75.13%）を上回った。
• DVS-128ジェスチャーデータセットでは80msのウィンドウで97.35%の精度を達成し、新たな最先端を記録した。これはPointNet++（97.06%）やTime Cascade（96.49%）を上回った。
• 観測比率が10%のとき、精度は79.78%に低下した（RGBの89.57%と比較して）、イベントベースのモデルが運動ダイナミクスに強く依存しており、初期段階では文脈的情報が不足していることが示された。
• 3次元CNNや点群表現を用いる既存のイベントベースのモデルよりも性能が優れており、適切な符号化を施した単純な2次元CNNが十分に効果的であることを示した。
• アブレーションスタディにより、タイムスタンプ画像に符号化された時間的情報が不可欠であることが確認され、純粋な空間的表現では精度が低くなることが分かった。