[논문 리뷰] Human Activity Analysis and Recognition from Smartphones using Machine Learning Techniques

Jakaria Rabbi, Md. Tahmid Hasan Fuad외 1명|arXiv (Cornell University)|2021. 03. 30.

Context-Aware Activity Recognition Systems참고 문헌 19인용 수 10

한 줄 요약

이 연구는 스마트폰 센서 데이터를 사용한 인간 활동 인식(HAR)을 위해 로지스틱 회귀, 결정 트리, 랜덤 포레스트, 서포트 벡터 머신(SVM), 인공 신경망(ANN)의 다섯 가지 기계 학습 모델을 평가한다. 가속도계 및 자이로스코프 입력을 포함한 UCI HAR 데이터셋을 사용하여, SVM는 격자 탐색을 통한 초모수 튜닝과 통계적 유의성 검정(p < 0.05)을 통해 평균 정확도 96.33%로 가장 높은 성능을 기록하여 다른 모델들을 압도적으로 뛰어넘었다.

ABSTRACT

Human Activity Recognition (HAR) is considered a valuable research topic in the last few decades. Different types of machine learning models are used for this purpose, and this is a part of analyzing human behavior through machines. It is not a trivial task to analyze the data from wearable sensors for complex and high dimensions. Nowadays, researchers mostly use smartphones or smart home sensors to capture these data. In our paper, we analyze these data using machine learning models to recognize human activities, which are now widely used for many purposes such as physical and mental health monitoring. We apply different machine learning models and compare performances. We use Logistic Regression (LR) as the benchmark model for its simplicity and excellent performance on a dataset, and to compare, we take Decision Tree (DT), Support Vector Machine (SVM), Random Forest (RF), and Artificial Neural Network (ANN). Additionally, we select the best set of parameters for each model by grid search. We use the HAR dataset from the UCI Machine Learning Repository as a standard dataset to train and test the models. Throughout the analysis, we can see that the Support Vector Machine performed (average accuracy 96.33%) far better than the other methods. We also prove that the results are statistically significant by employing statistical significance test methods.

연구 동기 및 목표

• 스마트폰 센서 데이터에서 인간 활동을 분류하기 위한 다수의 기계 학습 모델의 성능을 평가하는 것.
• 표준 벤치마크 데이터셋을 사용하여 인간 활동 인식에 가장 정확한 모델을 특정하는 것.
• 모델 성능을 최적화하기 위해 격자 탐색을 통한 초모수 튜닝을 적용하는 것.
• t-검정을 통해 모델 간 성능 차이의 통계적 유의성을 검증하는 것.
• 이 특정 HAR 데이터셋에서 기존 기계 학습 모델이 딥 러닝 접근법을 능가할 수 있는지 여부를 규명하는 것.

제안 방법

• 스마트폰 가속도계 및 자이로스코프에서 수집한 UCI 인간 활동 인식 데이터셋을 활용하였다.
• 각 모델의 초모수 최적화를 위해 5겹의 분류된 교차 검증과 격자 탐색을 적용하였다.
• 로지스틱 회귀(LR), 결정 트리(DT), 랜덤 포레스트(RF), 서포트 벡터 머신(SVM), 인공 신경망(ANN)의 다섯 모델을 훈련 및 평가하였다.
• 표준 분류 지표인 정확도, 정밀도, 재현도, F1-스코어를 사용하여 모델 성능을 평가하였다.
• 양측 윌리엄슨 t-검정과 5×2겹 교차 검증 t-검정을 수행하여 성능 차이의 통계적 유의성을 평가하였다.
• 은닉층과 뉴런 수를 다양하게 설정한 ANN을 평가하여 깊이가 증가할수록 정확도 저하가 관찰되었다.

실험 결과

연구 질문

• RQ1 스마트폰 센서 데이터를 사용한 인간 활동 인식에서 어떤 기계 학습 모델이 가장 높은 분류 정확도를 달성하는가?
• RQ2 격자 탐색을 통한 초모수 튜닝은 이 HAR 데이터셋에서 다양한 모델의 성능에 어떤 영향을 미치는가?
• RQ3 상위 성능을 보인 모델 간의 성능 차이가 통계적으로 유의한가?
• RQ4 이 HAR 데이터셋에서 인공 신경망의 깊이를 늘일수록 성능 향상이 이루어지는가?
• RQ5 이 특정 데이터셋에서 딥 뉴럴 네트워크와 같은 더 복잡한 모델보다 기존 기계 학습 모델인 SVM과 LR이 뛰어날 수 있는가?

주요 결과

• 서포트 벡터 머신(SVM)은 모든 모델 중 평균 정확도 96.33%로 가장 높은 성능을 기록하였다.
• 로지스틱 회귀는 SVM에 이어 높은 정밀도와 재현도 스코어를 보였지만, 통계적으로는 SVM에 열등하였다.
• 인공 신경망(ANN)은 은닉층이 하나를 초과할 경우 정확도가 감소하는 경향을 보였으며, 성능이 약 10%p 하락하는 현상이 관찰되었다.
• 결정 트리와 랜덤 포레스트 모델은 SVM과 로지스틱 회귀에 비해 상당히 낮은 정확도를 보이며 이 데이터셋에서 일반화 능력이 떨어지는 것으로 나타났다.
• 윌리엄슨 t-검정과 5×2겹 교차 검증 t-검정 모두 SVM과 다른 모델 간의 성능 차이가 통계적으로 유의미하다는 것을 확인하였으며(p < 0.05).
• 결과적으로 이 특정 데이터셋에서는 적절한 튜닝을 거친 전통적 기계 학습 모델이 딥 뉴럴 네트워크와 같은 딥 러닝 접근법을 능가할 수 있다.