[論文レビュー] Human Activity Analysis and Recognition from Smartphones using Machine Learning Techniques

Jakaria Rabbi, Md. Tahmid Hasan Fuad+1 more|arXiv (Cornell University)|Mar 30, 2021

Context-Aware Activity Recognition Systems参考文献 19被引用数 10

ひとこと要約

本研究では、スマートフォンのセンサデータを用いた人間の行動認識（HAR）の分類に、5つの機械学習モデル（ロジスティック回帰、決定木、ランダムフォレスト、SVM、ANN）の性能を評価した。UCI HARデータセットを用い、加速度計とジャイロスコープの入力を使用したところ、グリッドサーチによるハイパーパrameterチューニングと統計的有意性の検定（p < 0.05）を経て、SVMが平均96.33%の最高精度を達成し、他のモデルを顕著に上回った。

ABSTRACT

Human Activity Recognition (HAR) is considered a valuable research topic in the last few decades. Different types of machine learning models are used for this purpose, and this is a part of analyzing human behavior through machines. It is not a trivial task to analyze the data from wearable sensors for complex and high dimensions. Nowadays, researchers mostly use smartphones or smart home sensors to capture these data. In our paper, we analyze these data using machine learning models to recognize human activities, which are now widely used for many purposes such as physical and mental health monitoring. We apply different machine learning models and compare performances. We use Logistic Regression (LR) as the benchmark model for its simplicity and excellent performance on a dataset, and to compare, we take Decision Tree (DT), Support Vector Machine (SVM), Random Forest (RF), and Artificial Neural Network (ANN). Additionally, we select the best set of parameters for each model by grid search. We use the HAR dataset from the UCI Machine Learning Repository as a standard dataset to train and test the models. Throughout the analysis, we can see that the Support Vector Machine performed (average accuracy 96.33%) far better than the other methods. We also prove that the results are statistically significant by employing statistical significance test methods.

研究の動機と目的

• スマートフォンセンサデータからの人間の行動分類における、複数の機械学習モデルの性能を評価すること。
• 標準ベンチマークデータセットを用いて、人間の行動認識に最も高い精度を示すモデルを同定すること。
• グリッドサーチを用いたハイパーパrameterチューニングにより、モデル性能を最適化すること。
• t検定を用いて、モデル間の性能差の統計的有意性を検証すること。
• この特定のHARデータセットにおいて、従来の機械学習モデルがディープラーニングアプローチを上回る可能性があるかどうかを特定すること。

提案手法

• スマートフォンの加速度計とジャイロスコープから収集されたUCI Human Activity Recognitionデータセットを用いた。
• 各モデルのハイパーパrameter最適化のため、5分割のストラティファイド交差検証とグリッドサーチを適用した。
• ロジスティック回帰（LR）、決定木（DT）、ランダムフォレスト（RF）、サポートベクターマシン（SVM）、アーティフィシャルニューラルネットワーク（ANN）の5つのモデルを訓練および評価した。
• 標準分類指標（正解率、適合率、再現率、F1スコア）を用いてモデルの評価を行った。
• 両側t検定と5×2-fold交差検証t検定を実施し、モデル間の性能差の統計的有意性を評価した。
• 隠れ層の数とノード数を変化させたANNの評価では、深さが増すと精度が低下する傾向が観察された。

実験結果

リサーチクエスチョン

• RQ1 スマートフォンセンサデータを用いた人間の行動認識において、どの機械学習モデルが最高の分類精度を達成するか？
• RQ2 グリッドサーチによるハイパーパrameterチューニングは、HARデータセット上での各モデルの性能にどのように影響するか？
• RQ3 上位のモデル間の性能差は統計的に有意であるか？
• RQ4 このHARデータセットにおいて、アーティフィシャルニューラルネットワークの深さを増すと性能が向上するか？
• RQ5 この特定のデータセットにおいて、SVM や LR といった従来の機械学習モデルが、より複雑なモデル（例：ディープニューラルネットワーク）を上回る可能性があるか？

主な発見

• サポートベクターマシン（SVM）が、全モデルの中で最高の平均正解率96.33%を達成した。
• ロジスティック回帰（LR）はSVMに次いで高い精度を示し、各クラスの適合率と再現率も高く維持されたが、統計的にSVMに劣っていた。
• アーティフィシャルニューラルネットワーク（ANN）は、隠れ層を1つを超えて追加すると精度が低下し、10%の性能低下が観察された。
• 決定木（DT）とランダムフォレスト（RF）は、SVMとLRと比べて顕著に低い正解率を示し、このデータセットでは一般化性能が著しく劣ることが判明した。
• ウェルチのt検定と5×2-fold交差検証t検定の両方で、SVMと他のモデルとの性能差が統計的に有意であることが確認された（p < 0.05）。
• 本結果から、この特定のデータセットでは、適切にチューニングされた従来の機械学習モデルが、ディープラーニングアプローチ（例：ディープANN）を上回る可能性があると示唆された。