[论文解读] Human Activity Analysis and Recognition from Smartphones using Machine Learning Techniques

Jakaria Rabbi, Md. Tahmid Hasan Fuad+1 more|arXiv (Cornell University)|Mar 30, 2021

Context-Aware Activity Recognition Systems参考文献 19被引用 10

一句话总结

本研究评估了五种机器学习模型——逻辑回归、决策树、随机森林、支持向量机和人工神经网络——在使用智能手机传感器数据进行人体活动识别中的表现。基于包含加速度计和陀螺仪输入的UCI HAR数据集，通过网格搜索超参数调优和显著性检验（p < 0.05），支持向量机（SVM）取得了96.33%的平均准确率，显著优于其他模型。

ABSTRACT

Human Activity Recognition (HAR) is considered a valuable research topic in the last few decades. Different types of machine learning models are used for this purpose, and this is a part of analyzing human behavior through machines. It is not a trivial task to analyze the data from wearable sensors for complex and high dimensions. Nowadays, researchers mostly use smartphones or smart home sensors to capture these data. In our paper, we analyze these data using machine learning models to recognize human activities, which are now widely used for many purposes such as physical and mental health monitoring. We apply different machine learning models and compare performances. We use Logistic Regression (LR) as the benchmark model for its simplicity and excellent performance on a dataset, and to compare, we take Decision Tree (DT), Support Vector Machine (SVM), Random Forest (RF), and Artificial Neural Network (ANN). Additionally, we select the best set of parameters for each model by grid search. We use the HAR dataset from the UCI Machine Learning Repository as a standard dataset to train and test the models. Throughout the analysis, we can see that the Support Vector Machine performed (average accuracy 96.33%) far better than the other methods. We also prove that the results are statistically significant by employing statistical significance test methods.

研究动机与目标

• 评估多种机器学习模型在从智能手机传感器数据中分类人体活动方面的性能。
• 识别在标准基准数据集上用于人体活动识别的最准确模型。
• 通过网格搜索应用超参数调优以优化模型性能。
• 使用t检验验证不同模型之间性能差异的统计显著性。
• 确定传统机器学习模型是否能在该特定HAR数据集上优于深度学习方法。

提出的方法

• 使用从智能手机加速度计和陀螺仪收集的UCI人体活动识别数据集。
• 对每种模型应用5折分层交叉验证与网格搜索以优化超参数。
• 训练并评估五种模型：逻辑回归（LR）、决策树（DT）、随机森林（RF）、支持向量机（SVM）和人工神经网络（ANN）。
• 使用标准分类指标：准确率、精确率、召回率和F1分数进行模型评估。
• 进行双尾Welch's t检验和5×2折交叉验证t检验，以评估性能差异的统计显著性。
• 评估不同隐藏层和节点数的ANN，观察到深度增加时准确率下降。

实验结果

研究问题

• RQ1 哪种机器学习模型在使用智能手机传感器数据进行人体活动识别时达到最高的分类准确率？
• RQ2 通过网格搜索进行的超参数调优如何影响不同模型在HAR数据集上的性能？
• RQ3 表现最佳模型之间的性能差异是否具有统计显著性？
• RQ4 增加人工神经网络（ANN）的深度是否能提升其在该HAR数据集上的性能？
• RQ5 在该特定数据集中，传统机器学习模型（如SVM和LR）是否能优于更复杂的模型（如深度神经网络）？

主要发现

• 支持向量机（SVM）在所有模型中实现了96.33%的最高平均准确率。
• 逻辑回归（LR）紧随其后，各类别的精确率和召回率均较高，但经统计检验被SVM超越。
• 人工神经网络（ANN）在使用超过一个隐藏层时表现出准确率下降，性能下降达10%。
• 决策树（DT）和随机森林（RF）模型的准确率显著低于SVM和LR，表明其在该数据集上泛化能力较差。
• Welch's t检验和5×2折交叉验证t检验均证实SVM与其他模型之间的性能差异具有统计显著性（p < 0.05）。
• 结果表明，对于该特定数据集，经过适当调优的传统机器学习模型可优于深度学习方法（如深层ANN）。