[論文レビュー] HARDVS: Revisiting Human Activity Recognition with Dynamic Vision Sensors

Xiao Wang, Zongzhen Wu+6 more|arXiv (Cornell University)|Nov 17, 2022

Context-Aware Activity Recognition Systems被引用数 8

ひとこと要約

本稿では、300種類の人体活動カテゴリと100K以上のイベントシーケンスを含む大規模なベンチマークデータセットHARDVSと、イベントベースの人体活動認識のための新しい空間時系列トランスフォーマー基盤フレームワークESTFを提案する。ESTFは、StemNetとトランスフォーマーエンコーダーを用いて二重視覚的空間的・時系列的特徴を学習することで認識性能を向上させ、N-Caltech101およびALS-DVSデータセットで最先端の性能を達成した。

ABSTRACT

The main streams of human activity recognition (HAR) algorithms are developed based on RGB cameras which are suffered from illumination, fast motion, privacy-preserving, and large energy consumption. Meanwhile, the biologically inspired event cameras attracted great interest due to their unique features, such as high dynamic range, dense temporal but sparse spatial resolution, low latency, low power, etc. As it is a newly arising sensor, even there is no realistic large-scale dataset for HAR. Considering its great practical value, in this paper, we propose a large-scale benchmark dataset to bridge this gap, termed HARDVS, which contains 300 categories and more than 100K event sequences. We evaluate and report the performance of multiple popular HAR algorithms, which provide extensive baselines for future works to compare. More importantly, we propose a novel spatial-temporal feature learning and fusion framework, termed ESTF, for event stream based human activity recognition. It first projects the event streams into spatial and temporal embeddings using StemNet, then, encodes and fuses the dual-view representations using Transformer networks. Finally, the dual features are concatenated and fed into a classification head for activity prediction. Extensive experiments on multiple datasets fully validated the effectiveness of our model. Both the dataset and source code will be released on \url{https://github.com/Event-AHU/HARDVS}.

研究の動機と目的

• 実世界のイベントベースの人体活動認識データセットの不足を解消するため、多様で大規模なベンチマークを構築すること。
• 新規データセット上で10種類以上の最先端HARモデルを評価することで、今後の研究のための包括的なベースラインを提供すること。
• より良いイベントベースの行動認識のための、新しい空間時系列特徴の学習と統合フレームワークを開発すること。
• 提案されたモデルの有効性を、複数のデータセットおよび設定において検証すること。

提案手法

• 300種類の人体活動カテゴリと、明るさの変動、動きの速度、隠蔽、動的背景など多様な条件下で撮影された100K以上のイベントシーケンスを含む大規模なデータセットHARDVSを提案する。
• イベントストリームを空間的および時系列的トークンに埋め込むために、特徴抽出のためのStemNetを用いた二重ブランチフレームワークESTFを設計する。
• 空間的および時系列的特徴を独立して学習・表現するために、別々のトランスフォーマーエンコーダー（SpatialFormerとTemporalFormer）を採用する。
• 分類ヘッドへの入力前に、二重視覚的表現を連結することで統合する。
• 空間的特徴処理には非オーバーラップパッチ分割（例：4×4）を用い、トランスフォーマーの深さ設定（1～4層）を異なる条件で評価する。
• 特徴表現とモデル性能の解釈のため、t-SNE可視化と混同行列分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 大規模で実世界のイベントベースHARベンチマークは、イベントカメラを用いた行動認識モデルの評価および開発を向上させることができるか？
• RQ2 提案されたESTFフレームワークは、イベントストリームからの空間的および時系列的特徴の学習と統合にどの程度効果的か？
• RQ3 提案されたESTFモデルにおけるパッチサイズとトランスフォーマーの深さの最適な設定は何か？
• RQ4 多様な実世界の条件下で、提案されたモデルは既存のベースラインと比較して、精度と頑健性の面で優れているか？

主な発見

• 提案されたESTFモデルは、N-Caltech101およびALS-DVSデータセットの両方で最先端の性能を達成し、優れた認識精度を示した。
• 特徴抽出の最適な空間的パッチサイズは4×4であり、HARDVSデータセットでトップ1正解率83.17％、トップ5正解率94.20％、平均正解率77.37％を達成した。
• 1～3層のトランスフォーマー層を使用すると最良の性能が得られ、平均正解率77.37％を記録した。これは、より深いネットワークが最適な学習を行うためにより大きなデータセットを必要とすることを示唆している。
• 可視化結果から、ESTFはベースラインのResNet18よりもより判別性の高い特徴表現を学習していることが示され、t-SNEプロットにおけるクラス分離性が優れている。
• HARDVSにおける混同行列の結果から、依然として大きな改善の余地があることが確認され、データセットの挑戦性と多様性が裏付けられた。
• 1動画（8フレーム）あたり25msの推論時間、モデルサイズ377.34MB、パラメータ数46.71Mを達成しており、高い効率性と実用性を示している。