[论文解读] Human activity recognition from mobile inertial sensors using recurrence plots

Otávio A. B. Penatti, Milton F. S. Santos|arXiv (Cornell University)|Dec 5, 2017

Context-Aware Activity Recognition Systems参考文献 1被引用 5

一句话总结

本文提出了一种新颖的人体活动识别方法，利用从移动惯性传感器数据中提取的递归图（RPs），通过视觉描述符将传感器分类转化为纹理分类。该方法通过使用RGB RPs（每个颜色通道代表一个加速度计轴）结合词袋视觉单词（BoVW）和RGB SIFT特征，实现了最先进（SOTA）的准确率，优于传统的时间域和频域特征。

ABSTRACT

Inertial sensors are present in most mobile devices nowadays and such devices are used by people during most of their daily activities. In this paper, we present an approach for human activity recognition based on inertial sensors by employing recurrence plots (RP) and visual descriptors. The pipeline of the proposed approach is the following: compute RPs from sensor data, compute visual features from RPs and use them in a machine learning protocol. As RPs generate texture visual patterns, we transform the problem of sensor data classification to a problem of texture classification. Experiments for classifying human activities based on accelerometer data showed that the proposed approach obtains the highest accuracies, outperforming time- and frequency-domain features directly extracted from sensor data. The best results are obtained when using RGB RPs, in which each RGB channel corresponds to the RP of an independent accelerometer axis.

研究动机与目标

• 为解决从移动惯性传感器数据中准确识别人体活动的挑战，提出一种能捕捉动态模式的新表示方法。
• 探讨递归图（RPs）是否能有效将惯性传感器时间序列数据表示为纹理模式，以提升分类性能。
• 评估视觉描述符（特别是结合SIFT的词袋视觉单词（BoVW））在RPs上用于人体活动识别的性能。
• 在准确率和鲁棒性方面，将所提出的基于RPs的方法与传统的时间域和频域特征提取技术进行比较。
• 识别最有效的RPs配置（如灰度图与RGB图）和特征编码策略（如空间金字塔），以区分相似的人体活动。

提出的方法

• 从原始加速度计时间序列数据计算递归图（RPs），将动态系统的重复特性表示为具有纹理模式的二维图像。
• 通过将每个加速度计轴（x、y、z）分配给独立的颜色通道，生成RGB RPs，从而在单张图像中保留多维传感器信息。
• 从RPs中使用RGB SIFT（尺度不变特征变换）提取低级视觉特征，以捕捉局部纹理特征。
• 应用带有最大池化的空间金字塔匹配（SPM），以编码视觉特征的空间布局，从而提高对相似活动的区分能力。
• 使用k=1000个视觉词典聚类的词袋视觉单词（BoVW）将RPs表示为直方图，用于机器学习分类。
• 在BoVW编码的特征上训练并评估机器学习分类器（例如SVM），以从加速度计数据中分类12个人体活动。

实验结果

研究问题

• RQ1 递归图能否有效将惯性传感器时间序列数据转换为纹理图像，从而提升人体活动识别的准确率？
• RQ2 使用RGB RPs（每个颜色通道对应一个加速度计轴）是否比灰度RPs或拼接RPs表现更优？
• RQ3 结合BoVW与RGB SIFT及空间金字塔池化的方案，与传统的时间域和频域特征提取方法相比表现如何？
• RQ4 哪些人体活动最难区分？所提出的方法是否能减少如“坐下椅子”与“站起椅子”这类相似活动之间的混淆？
• RQ5 所提出的基于RPs的视觉描述符方法是否在统计学上显著优于基线方法？

主要发现

• 所提出的使用RGB RPs与BoVW结合RGB SIFT及空间金字塔的方法，在所有评估方法中实现了最高的分类准确率。
• RP-RGB $BoVW^{1000}_{RGBSIFT}$ 方法显著优于时间域（分位数）和频域（dftbands）基线方法，所有类别均表现出统计学上显著的提升（p < 0.05）。
• 混淆矩阵显示，“坐下椅子”与“站起椅子”是识别最困难的一对活动，即使在最佳方法中也表现出最高的误分类率。
• “刷牙”、“梳头”和“使用电话”等活动最容易分类，尽管其训练样本较少，表明该方法在数据有限的情况下仍具鲁棒性。
• 在BoVW框架中引入空间金字塔，通过编码RPs中纹理模式的空间排列，提升了对相似活动的区分能力。
• 配对统计检验确认，$BoVW^{1000}_{RGBSIFT}$ 在RGB RPs上的表现优于所有其他方法，所有性能差异的95%置信区间均高于零。