[论文解读] Adaptive Feature Processing for Robust Human Activity Recognition on a Novel Multi-Modal Dataset

Mirco Moencks, De Silva+2 more|arXiv (Cornell University)|Jan 9, 2019

Human Pose and Action Recognition参考文献 68被引用 16

一句话总结

本文提出了一种新颖的、公开可用的多模态数据集，通过16名参与者使用RGB、深度、惯性和磁力传感器捕捉了九种室内活动。该研究提出了一种自适应特征处理流程，实现了鲁棒的人类活动识别，在所有动态和静态活动上使用RGB-深度数据结合深度神经网络，准确率最高达到96.8%。

ABSTRACT

Human Activity Recognition (HAR) is a key building block of many emerging applications such as intelligent mobility, sports analytics, ambient-assisted living and human-robot interaction. With robust HAR, systems will become more human-aware, leading towards much safer and empathetic autonomous systems. While human pose detection has made significant progress with the dawn of deep convolutional neural networks (CNNs), the state-of-the-art research has almost exclusively focused on a single sensing modality, especially video. However, in safety critical applications it is imperative to utilize multiple sensor modalities for robust operation. To exploit the benefits of state-of-the-art machine learning techniques for HAR, it is extremely important to have multimodal datasets. In this paper, we present a novel, multi-modal sensor dataset that encompasses nine indoor activities, performed by 16 participants, and captured by four types of sensors that are commonly used in indoor applications and autonomous vehicles. This multimodal dataset is the first of its kind to be made openly available and can be exploited for many applications that require HAR, including sports analytics, healthcare assistance and indoor intelligent mobility. We propose a novel data preprocessing algorithm to enable adaptive feature extraction from the dataset to be utilized by different machine learning algorithms. Through rigorous experimental evaluations, this paper reviews the performance of machine learning approaches to posture recognition, and analyses the robustness of the algorithms. When performing HAR with the RGB-Depth data from our new dataset, machine learning algorithms such as a deep neural network reached a mean accuracy of up to 96.8% for classification across all stationary and dynamic activities

研究动机与目标

• 为解决在安全关键应用中缺乏公开可用的多模态数据集以实现鲁棒的人类活动识别（HAR）的问题。
• 开发一种数据预处理流程，以实现从多种传感器模态中自适应地提取特征。
• 评估并比较多种机器学习模型在多种传感器类型上的姿态与活动识别性能。
• 通过融合多种传感模态的互补信息，提升系统的鲁棒性。
• 为未来在健康医疗、移动性与机器人学等领域的HAR研究提供基准数据集与方法。

提出的方法

• 作者使用四种传感器类型收集了多模态数据集：RGB摄像头、深度传感器、惯性测量单元（IMUs）和磁力计。
• 设计了一种自适应特征处理算法，根据信号特性和时间动态性，从每种模态中提取并归一化特征。
• 通过标准化输入表示，支持与多种机器学习模型（包括深度神经网络（DNNs））的灵活集成。
• 特征提取包括时域统计量、频域变换（例如FFT），以及针对RGB和深度流的时空编码。
• 该流程根据传感器类型和活动类别动态调整预处理，以提升模型泛化能力。
• 采用多流DNN架构融合各模态特诊，实现最终分类。

实验结果

研究问题

• RQ1 在采用所提出的自适应预处理方法时，HAR模型在不同传感器模态下的性能表现如何？
• RQ2 与单模态方法相比，多模态融合在多大程度上能提升识别准确率与鲁棒性？
• RQ3 所提出的自适应特征处理流程在提升模型在多样化人类活动中的泛化能力方面有多有效？
• RQ4 在该新型多模态数据集上，最先进模型的性能上限是多少？
• RQ5 该数据集在参与者与活动多样性方面如何影响模型的可迁移性与鲁棒性？

主要发现

• 与基线预处理相比，所提出的自适应特征处理流程在所有传感器模态上均显著提升了模型性能。
• 当使用该数据集的RGB-深度数据时，深度神经网络实现了96.8%的平均分类准确率。
• 多模态融合始终优于单模态模型，其中RGB-深度组合的准确率最高。
• 该数据集展现出强大的泛化潜力，在不同参与者和活动类型中均保持一致的性能表现。
• 惯性和磁力传感器的引入在低可见度或遮挡条件下增强了系统的鲁棒性。
• 该数据集是首个公开可用的包含四种传感器类型的多模态HAR数据集，为以人为本的人工智能应用研究提供了更广泛的支持。