[论文解读] A Neuro-Symbolic Approach to Structured Event Recognition

Lago, Paula, Takeda, Shingo+5 more|arXiv (Cornell University)|Jun 18, 2020

Context-Aware Activity Recognition Systems参考文献 13被引用 9

一句话总结

本文提出了一种新颖的多传感器、两级标注数据集，用于烹饪场景中的结构化事件识别，结合了宏观活动（食谱）与微观活动（步骤），采用动作捕捉、智能手机和智能手表技术。研究结果表明，使用4秒窗口的统计特征与SVM/RFF分类器可实现最佳的微观活动识别性能，微平均F1得分为68.5%，凸显了在复杂活动识别中数据不平衡与非周期性带来的挑战。

ABSTRACT

Complex activity recognition can benefit from understanding the steps that compose them. Current datasets, however, are annotated with one label only, hindering research in this direction. In this paper, we describe a new dataset for sensor-based activity recognition featuring macro and micro activities in a cooking scenario. Three sensing systems measured simultaneously, namely a motion capture system, tracking 25 points on the body; two smartphone accelerometers, one on the hip and the other one on the forearm; and two smartwatches one on each wrist. The dataset is labeled for both the recipes (macro activities) and the steps (micro activities). We summarize the results of a baseline classification using traditional activity recognition pipelines. The dataset is designed to be easily used to test and develop activity recognition approaches.

研究动机与目标

• 为解决复杂活动识别领域缺乏公开、多粒度数据集的问题，提出一种同时包含宏观活动（食谱）与微观活动（步骤）标签的新数据集。
• 通过在真实烹饪环境中结合视觉（动作捕捉）与惯性（智能手机、智能手表）传感器数据，实现结构化事件识别研究。
• 评估传统活动识别流程在微观活动上的表现，识别出数据不平衡、非周期性及个体间差异等挑战。
• 提供一个具有多样化传感器模态和真实数据采集方式的基准数据集，采用商用可穿戴设备进行数据收集。

提出的方法

• 使用三种传感器模态进行数据采集：光学动作捕捉（25个体感点）、智能手机加速度计（腰部与前臂位置）以及智能手表（每只手腕各一个）。
• 数据集包含3个食谱（宏观活动）和10种不同的微观活动，两级标签均完整标注。
• 信号重采样至20Hz，并使用1–5秒的窗口大小，以50%重叠方式滑动分割。
• 采用两种特征提取方法：时域统计特征（均值、标准差、最大值、最小值、峰度、偏度、四分位距、导数均值/标准差）以及每轴30个等距点的累积分布函数（ECDF）特征。
• 评估了三种分类器：线性核与RBF核的SVM，以及随机森林，均使用两种特征集进行测试。
• 每窗口的标签分配优先选择窗口内持续时间最长的活动，以处理活动片段重叠的问题。

实验结果

研究问题

• RQ1 当应用于烹饪场景中非周期性、不平衡的微观活动时，传统活动识别流程的性能如何变化？
• RQ2 在活动持续时间显著变化的情况下，识别微观活动的最佳窗口大小是什么？
• RQ3 不同特征提取技术（统计特征 vs. ECDF）对本数据集中微观活动识别准确率的影响如何？
• RQ4 数据不平衡在多级活动识别中对宏观与微观平均F1得分的影响程度如何？
• RQ5 传感器模态及数据质量（如左腕智能手表数据缺失）对识别性能与模型鲁棒性有何影响？

主要发现

• 微平均F1得分（68.5%）显著高于宏平均F1得分（45.2%），表明对多数类表现良好，但对少数类微观活动识别能力较弱。
• 在所有分类器与窗口大小下，统计特征均优于ECDF特征，其中SVM结合统计特征在4秒窗口下达到最高微平均F1得分68.5%。
• 所有分类器的峰值性能均出现在4秒窗口大小，尽管微观活动的平均持续时间约为3–4秒，表明在时间分辨率与活动分割之间存在权衡。
• 始终预测多数类（Take）的基线模型微F1得分为36%，表明训练模型仅带来微小提升，凸显了数据不平衡带来的挑战。
• 尽管硬件完全相同，左腕智能手表仍表现出较高的数据缺失率，凸显了可穿戴传感器部署中的真实世界数据质量问题。
• 动作捕捉与商用可穿戴设备的结合，为在不同数据质量与传感器模态组合下评估模型鲁棒性提供了真实可靠的基准。