[论文解读] Concurrent Activity Recognition with Multimodal CNN-LSTM Structure

Xinyu Li, Yanyi Zhang+5 more|arXiv (Cornell University)|Feb 6, 2017

Context-Aware Activity Recognition Systems参考文献 39被引用 32

一句话总结

本文提出一种用于使用异构传感器数据进行并发活动识别的多模态CNN-LSTM架构。它通过CNN提取空间特征，通过LSTM建模每种模态的时间依赖性，利用单一二元输出分类器融合特征进行联合分类，在三个不同数据集上实现了与领域专用模型相当的性能，且具备可扩展的统一框架。

ABSTRACT

We introduce a system that recognizes concurrent activities from real-world data captured by multiple sensors of different types. The recognition is achieved in two steps. First, we extract spatial and temporal features from the multimodal data. We feed each datatype into a convolutional neural network that extracts spatial features, followed by a long-short term memory network that extracts temporal information in the sensory data. The extracted features are then fused for decision making in the second step. Second, we achieve concurrent activity recognition with a single classifier that encodes a binary output vector in which elements indicate whether the corresponding activity types are currently in progress. We tested our system with three datasets from different domains recorded using different sensors and achieved performance comparable to existing systems designed specifically for those domains. Our system is the first to address the concurrent activity recognition with multisensory data using a single model, which is scalable, simple to train and easy to deploy.

研究动机与目标

• 开发一种统一的深度学习框架，用于从多模态传感器数据中识别多个并发活动。
• 解决在单一可扩展模型中整合异构传感器模态（如视频、音频、运动）的挑战。
• 实现单一分类器的端到端训练与部署，用于预测多个同时发生的活动。
• 在无需针对任务重新训练模型的情况下，实现在不同领域中的竞争性性能。
• 证明单一通用模型在不同传感器类型和环境下的并发活动识别可行性。

提出的方法

• 每种传感器模态（如视频、加速度计）通过卷积神经网络（CNN）独立处理，以提取空间特征。
• 使用长短期记忆（LSTM）网络对每种模态的特征序列中的时间依赖性进行建模。
• 将所有模态的特征拼接后输入共享分类器头，输出表示活跃活动类型的二值向量。
• 使用多标签输出向量上的二元交叉熵损失函数，进行端到端训练。
• 在早期阶段进行特征融合，即在最终分类前结合模态特定的表示。
• 该架构设计为可扩展且在不同传感器类型和活动领域间具备泛化能力。

实验结果

研究问题

• RQ1 单一深度学习模型能否有效识别来自异构传感器输入的多个并发活动？
• RQ2 使用CNN-LSTM架构进行多模态特征融合，在并发活动识别中与模态专用模型相比表现如何？
• RQ3 统一模型在无需重新训练的情况下，跨不同领域和传感器类型的泛化能力达到何种程度？
• RQ4 早期特征融合与共享分类器头对模型性能和可扩展性有何影响？
• RQ5 单一端到端可训练模型能否在多样化的真实场景中实现与专用系统相当的性能？

主要发现

• 所提出的多模态CNN-LSTM模型在三个来自不同应用领域的独立数据集上，性能与现有领域专用系统相当。
• 该模型成功利用单一统一架构，在多种传感器类型和环境中识别多个并发活动。
• 由于采用端到端训练和共享分类器设计，系统展现出良好的可扩展性与部署便捷性。
• 通过模态专用CNN进行特征提取，再利用LSTM进行时间建模，有效捕捉了空间与序列模式。
• 采用单一二元输出分类器实现了高效的多标签预测，无需为每项活动单独构建模型。
• 该框架在不同传感器采集的数据集上表现出鲁棒性，证实了其泛化能力。