[论文解读] Logistic Activity Recognition Challenge (LARa Version 01) – A Motion Capture and Inertial Measurement Dataset

Friedrich Niemann, Christopher Reining+9 more|arXiv (Cornell University)|May 31, 2020

Maritime Navigation and Safety被引用 5

一句话总结

本文提出了一种用于人体活动识别（HAR）的混合深度学习架构，通过使用深度神经网络解耦特征提取与通过上下文增强的浅层分类器进行分类。通过整合流程步骤上下文（如仓库工作流程中的当前阶段），即使在上下文标签部分错误的情况下，该方法仍能提升HAR准确率，在LARa数据集上的表现优于最先进模型。

ABSTRACT

<strong>LARa </strong>is the first freely accessible logistics-dataset for human activity recognition. In the ’Innovationlab Hybrid Services in Logistics’ at TU Dortmund University, two picking and one packing scenarios with 14 subjects were recorded using OMoCap, IMUs, and an RGB camera. 758 minutes of recordings were labeled by 12 annotators in 474 person-hours. The subsequent revision was carried out by 4 revisers in 143 person-hours. All the given data have been labeled and categorised into 8 activity classes and 19 binary coarse-semantic descriptions, also called attributes. You can find the latest version of the annotation tool here: https://github.com/wilfer9008/Annotation_Tool_LARa <strong>If you use this dataset for research, please cite the following paper: “LARa: Creating a Dataset for Human Activity Recognition in Logistics Using Semantic Attributes</strong><strong>”, Sensors 2020, DOI: 10.3390/s20154083</strong>

研究动机与目标

• 解决在仓库等结构化人工工作环境中的人体活动识别（HAR）挑战，这些环境中的活动分布随流程步骤而变化。
• 克服纯数据驱动的深度学习模型的局限性，这些模型忽略了领域特定的先验知识，如流程步骤动态和活动先验。
• 开发一种模块化的HAR系统，可在不重新训练深度特征提取器的情况下集成上下文信息（如当前流程步骤）。
• 评估上下文信息对HAR性能的影响，特别是在上下文估计不完美或存在噪声时。

提出的方法

• 使用深度神经网络从原始惯性传感器数据中提取高层运动描述符（如姿势或手部使用情况）作为属性。
• 采用浅层分类器（如QDA、RF、HMM）基于估计的属性和可选的上下文特征预测活动类别。
• 将上下文信息——特别是当前流程步骤（BPM状态）——作为分类器的输入特征，实现上下文感知分类。
• 将特征提取（深度网络）与分类（浅层模型）解耦，使同一特征提取器可跨不同领域或上下文可用性水平重复使用。
• 通过以概率p随机混淆真实状态来模拟噪声过程步骤标签，以评估鲁棒性。
• 在原始传感器数据上端到端训练深度网络，同时联合训练浅层分类器并引入上下文输入以优化活动识别。

实验结果

研究问题

• RQ1 将流程步骤上下文集成到HAR系统中是否能相比最先进方法提升分类性能？
• RQ2 当提供的流程步骤信息不准确或存在噪声时，HAR系统的性能会如何退化？
• RQ3 与无上下文的模型相比，所提出的架构在上下文信息部分错误时是否仍能保持或提升性能？
• RQ4 在互信息的度量下，上下文信息（如BPM状态）在多大程度上减少了活动分类的不确定性？

主要发现

• 当不使用上下文时，所提出的混合模型在HAR准确率（0.721）和F1分数（0.715）上均优于先前最先进方法（准确率0.621，F1分数0.621）。
• 提供正确的流程步骤上下文可使随机森林分类器的F1分数提升至0.715，表明性能有显著提升。
• 即使在50%的流程步骤标签存在噪声时，随机森林分类器仍保持竞争力，优于无上下文的基线模型；而QDA需要上下文标签准确率至少达到80%才能超越其基线。
• 互信息分析表明，流程步骤信息提供了0.89比特的额外分类信息，证实其在HAR中的价值。
• 系统在噪声上下文下仍能保持性能优势，表明对不完善的领域知识具有鲁棒性。
• 模块化设计允许在不同领域或上下文可用性水平下重复使用同一深度特征提取器，实现灵活部署。