[论文解读] A Semi-supervised Approach for Activity Recognition from Indoor Trajectory Data

Mashud Rana, Ashfaqur Rahman+1 more|arXiv (Cornell University)|Jan 9, 2023

Human Mobility and Location-Based Analysis被引用 6

一句话总结

本文提出了一种半监督深度学习框架，用于从制造环境中嘈杂的室内轨迹数据中进行活动识别。该方法使用信息论准则对轨迹进行分割，通过约束层次聚类分配伪标签，并在标记数据和伪标记数据段上训练卷积神经网络（CNN），仅需极少的人工标注数据即可实现0.81至0.95的F1分数。

ABSTRACT

The increasingly wide usage of location aware sensors has made it possible to collect large volume of trajectory data in diverse application domains. Machine learning allows to study the activities or behaviours of moving objects (e.g., people, vehicles, robot) using such trajectory data with rich spatiotemporal information to facilitate informed strategic and operational decision making. In this study, we consider the task of classifying the activities of moving objects from their noisy indoor trajectory data in a collaborative manufacturing environment. Activity recognition can help manufacturing companies to develop appropriate management policies, and optimise safety, productivity, and efficiency. We present a semi-supervised machine learning approach that first applies an information theoretic criterion to partition a long trajectory into a set of segments such that the object exhibits homogeneous behaviour within each segment. The segments are then labelled automatically based on a constrained hierarchical clustering method. Finally, a deep learning classification model based on convolutional neural networks is trained on trajectory segments and the generated pseudo labels. The proposed approach has been evaluated on a dataset containing indoor trajectories of multiple workers collected from a tricycle assembly workshop. The proposed approach is shown to achieve high classification accuracy (F-score varies between 0.81 to 0.95 for different trajectories) using only a small proportion of labelled trajectory segments.

研究动机与目标

• 解决制造环境中低质量、嘈杂的室内轨迹数据带来的挑战。
• 通过利用半监督学习减少对昂贵人工标注的依赖，以实现活动识别。
• 在标注数据有限的真实人机协作制造环境中提升分类准确率。
• 开发一个鲁棒的端到端流程，将轨迹分割为行为同质的单元，以支持下游分类任务。

提出的方法

• 使用信息论准则检测变化点，将长轨迹分割为行为同质的单元。
• 应用约束层次聚类，基于空间和时间相似性自动为轨迹段分配标签。
• 利用从少量人工标注数据中提取的聚类约束，为未标注段生成伪标签。
• 在真实标签与伪标签轨迹段的组合数据上，训练一维卷积神经网络（1D CNN）以实现活动分类。
• 采用多阶段流程：分割 → 基于聚类的标签分配 → 深度学习分类。
• 采用数据驱动方法，在最小化人工标注的同时最大化模型在真实轨迹数据上的泛化能力。

实验结果

研究问题

• RQ1 基于信息论的分割方法是否能有效识别嘈杂室内环境中行为同质的轨迹段？
• RQ2 在仅提供少量人工标注样本的情况下，约束层次聚类在多大程度上能为轨迹段分配有意义的伪标签？
• RQ3 与完全监督或无监督基线相比，所提出的半监督框架在活动识别性能上提升了多少？
• RQ4 在真实制造轨迹数据中，标注数据比例的变化对最终分类F1分数有何影响？

主要发现

• 所提方法在不同工人的轨迹上实现了0.81至0.95的F1分数，表现出强大的分类性能。
• 即使仅使用极小比例的标注轨迹段，模型仍保持高准确率，验证了其半监督学习的高效性。
• 基于信息论准则的分割方法能有效隔离嘈杂室内轨迹中的不同行为模式。
• 通过约束聚类进行伪标签分配，显著提升了模型性能，优于随机或无监督标签策略。
• 基于CNN的分类器在真实三轮车装配车间中观察到的多样化运动模式上表现出良好的泛化能力。