[论文解读] HARDVS: Revisiting Human Activity Recognition with Dynamic Vision Sensors

Xiao Wang, Zongzhen Wu+6 more|arXiv (Cornell University)|Nov 17, 2022

Context-Aware Activity Recognition Systems被引用 8

一句话总结

本文提出了HARDVS，一个大规模基准数据集，包含300个人类活动类别和超过100K个使用DAVIS346相机捕获的事件序列，并提出了ESTF，一种基于时空Transformer的新框架，用于事件相机人类活动识别。ESTF通过StemNet和Transformer编码器学习双视角的空间与时间特征，实现了在N-Caltech101和ALS-DVS数据集上的最先进性能。

ABSTRACT

The main streams of human activity recognition (HAR) algorithms are developed based on RGB cameras which are suffered from illumination, fast motion, privacy-preserving, and large energy consumption. Meanwhile, the biologically inspired event cameras attracted great interest due to their unique features, such as high dynamic range, dense temporal but sparse spatial resolution, low latency, low power, etc. As it is a newly arising sensor, even there is no realistic large-scale dataset for HAR. Considering its great practical value, in this paper, we propose a large-scale benchmark dataset to bridge this gap, termed HARDVS, which contains 300 categories and more than 100K event sequences. We evaluate and report the performance of multiple popular HAR algorithms, which provide extensive baselines for future works to compare. More importantly, we propose a novel spatial-temporal feature learning and fusion framework, termed ESTF, for event stream based human activity recognition. It first projects the event streams into spatial and temporal embeddings using StemNet, then, encodes and fuses the dual-view representations using Transformer networks. Finally, the dual features are concatenated and fed into a classification head for activity prediction. Extensive experiments on multiple datasets fully validated the effectiveness of our model. Both the dataset and source code will be released on \url{https://github.com/Event-AHU/HARDVS}.

研究动机与目标

• 通过创建一个多样化、大规模的基准数据集，解决缺乏大规模真实世界事件相机人类活动识别数据集的问题。
• 通过在新数据集上评估10余种最先进HAR模型，为未来研究提供全面基线。
• 开发一种新颖的时空特征学习与融合框架，以提升事件相机动作识别性能。
• 在多个数据集和设置下验证所提模型的有效性。

提出的方法

• 提出HARDVS，一个包含300个人类活动类别和超过100K个事件序列的大规模数据集，其采集条件多样，涵盖不同光照、运动速度、遮挡和动态背景。
• 设计ESTF，一种双分支框架，首先通过StemNet将事件流嵌入为空间和时间标记以进行特征提取。
• 使用独立的Transformer编码器——SpatialFormer和TemporalFormer——分别学习和表示空间与时间特征。
• 通过拼接融合双视角表征，再输入分类头以完成最终预测。
• 采用非重叠块划分（如4×4）进行空间特征处理，并评估不同Transformer深度设置（1–4层）。
• 使用t-SNE可视化和混淆矩阵分析来解释特征表征与模型性能。

实验结果

研究问题

• RQ1 大规模真实世界事件相机HAR基准是否能提升事件相机驱动动作识别模型的评估与开发？
• RQ2 所提出的ESTF框架在从事件流中学习并融合空间与时间特征方面，对动作识别的有效性如何？
• RQ3 在所提出的ESTF模型中，块大小与Transformer深度的最佳配置是什么？
• RQ4 在多种真实世界条件下，所提模型与现有基线相比，在准确率与鲁棒性方面表现如何？

主要发现

• 所提出的ESTF模型在N-Caltech101和ALS-DVS数据集上均实现了最先进性能，表现出更高的识别准确率。
• 空间块大小为4×4时为最佳特征提取配置，在HARDVS数据集上达到83.17%的top-1准确率、94.20%的top-5准确率和77.37%的平均准确率。
• 使用1至3层Transformer时性能最佳，平均准确率达77.37%，表明更深网络可能需要更大数据集才能实现最优训练。
• 可视化结果表明，ESTF学习到的特征表示比基线ResNet18更具判别性，t-SNE投影中类别分离更优。
• 在HARDVS上的混淆矩阵显示仍有显著提升空间，证实了该数据集的挑战性与多样性。
• 模型每视频（8帧）推理时间为25ms，模型大小为377.34 MB，参数量为46.71M，表明其具备出色的效率与实用性。