[논문 리뷰] UniMiB SHAR: a new dataset for human activity recognition using acceleration data from smartphones

Daniela Micucci, Marco Mobilio외 1명|arXiv (Cornell University)|2016. 11. 23.

Context-Aware Activity Recognition Systems참고 문헌 41인용 수 31

한 줄 요약

이 논문은 30명의 참가자(연령 18–60세)가 9가지 일상 활동(ADL)과 8가지 낙상 유형을 수행한 스마트폰 가속도계 데이터를 담은 새로운 공개 데이터셋 UniMiB SHAR를 소개한다. 이 데이터셋은 참가자별 및 참가자 간 평가를 지원하며, 낙상 분류가 ADL 인식보다 더 어렵고, 원시 데이터보다 크기 기반 특징이 참가자 간 평가 환경에서 더 우수한 성능을 보임을 입증한다.

ABSTRACT

Smartphones, smartwatches, fitness trackers, and ad-hoc wearable devices are being increasingly used to monitor human activities. Data acquired by the hosted sensors are usually processed by machine-learning-based algorithms to classify human activities. The success of those algorithms mostly depends on the availability of training (labeled) data that, if made publicly available, would allow researchers to make objective comparisons between techniques. Nowadays, publicly available data sets are few, often contain samples from subjects with too similar characteristics, and very often lack of specific information so that is not possible to select subsets of samples according to specific criteria. In this article, we present a new dataset of acceleration samples acquired with an Android smartphone designed for human activity recognition and fall detection. The dataset includes 11,771 samples of both human activities and falls performed by 30 subjects of ages ranging from 18 to 60 years. Samples are divided in 17 fine grained classes grouped in two coarse grained classes: one containing samples of 9 types of activities of daily living (ADL) and the other containing samples of 8 types of falls. The dataset has been stored to include all the information useful to select samples according to different criteria, such as the type of ADL, the age, the gender, and so on. Finally, the dataset has been benchmarked with four different classifiers and with two different feature vectors. We evaluated four different classification tasks: fall vs no fall, 9 activities, 8 falls, 17 activities and falls. For each classification task we performed a subject-dependent and independent evaluation. The major findings of the evaluation are the following: i) it is more difficult to distinguish between types of falls than types of activities; ii) subject-dependent evaluation outperforms the subject-independent one

연구 동기 및 목표

• 인간 활동 인식(HAR) 및 낙상 탐지에 활용 가능한 공개된, 다양한 종류의, 잘 레이블링된 스마트폰 가속도계 데이터셋 부족 문제를 해결하기 위해.
• 연령, 성별, 활동 유형 등의 참가자별 기준에 따라 샘플을 선택할 수 있도록 하는 데이터셋을 구축하기 위해.
• 참가자별 및 참가자 간 조건에서 HAR 및 낙상 탐지 알고리즘 평가를 위한 벤치마크를 제공하기 위해.
• 다양한 사용자 간 분류 성능 향상을 위한 강건한 특징 공학 및 개인화 기법에 대한 연구를 지원하기 위해.
• 표준화된 공개 데이터셋을 통해 최신 HAR 및 낙상 탐지 방법 간 객관적인 비교를 가능하게 하기 위해.

제안 방법

• 18–60세의 다양한 연령대를 포함한 30명의 참가자로부터 안드로이드 스마트폰을 사용해 총 11,771개의 가속도 샘플을 수집하였다.
• 활동을 9개의 일상 활동(ADL)과 8가지 낙상 유형으로 분류하였으며, 두 가지 일반적인 카테고리로 묶었다: ADL과 낙상.
• 모든 메타데이터(연령, 성별, 활동 유형)를 저장하여 특정 기준에 따라 필터링 및 서브셋 선택이 가능하도록 하였다.
• 원시 가속도 데이터와 삼축 가속도의 유클리드 노름(크기)을 기반으로 한 두 가지 특징 벡터를 추출하였다.
• 원시 데이터 및 크기 기반 특징 벡터에 대해 네 가지 분류기(k-최근접 이웃(k-NN), 서포트 벡터 머신(SVM), 랜덤 포레스트(RF), 로지스틱 회귀)를 평가하였다.
• 참가자별 평가는 5겹 교차검증을, 참가자 간 평가는 한 명의 참가자를 제외한 교차검증(LOSO)을 통해 수행하였다.

실험 결과

연구 질문

• RQ1 참가자별 평가와 참가자 간 평가 설정 간 HAR 및 낙상 탐지 모델의 성능는 어떻게 달라지나?
• RQ2 원시 가속도 데이터와 크기 기반 특징 중 어느 것이 다양한 평가 프로토콜에서 더 높은 분류 정확도를 제공하는가?
• RQ3 다양한 낙상 유형을 식별하는 것은 다양한 ADL 유형을 인식하는 것보다 더 어렵게 되는가?
• RQ4 개인화(참가자별 데이터)는 HAR 및 낙상 탐지에서 분류 성능에 얼마나 큰 영향을 미치는가?
• RQ5 이 데이터셋은 더 강건한 특징 및 개인화를 고려한 분류 기법 개발을 지원할 수 있는가?

주요 결과

• 참가자별 평가에서 참가자 간 평가보다 유의미하게 높은 정확도를 기록하였으며, SVM과 크기 기반 특징을 사용한 낙상 대 비낙상 분류에서 최고 평균 정확도(MAA)는 97.57%를 기록하였다.
• 낙상 유형(F-8) 간 식별은 일상 활동(A-9) 인식보다 더 어려웠으며, 참가자 간 평가에서 SVM과 크기 기반 특징을 사용한 최고 MAA는 49.35%였다.
• ADL 인식(A-9)의 경우, 참가자 간 평가에서 랜덤 포레스트(RF)와 원시 데이터를 사용한 최고 MAA는 73.17%였으며, 이는 참가자별 결과와 비교해 상당한 성능 격차를 보였다.
• 참가자 간 평가에서 크기 기반 특징이 원시 데이터보다 더 높은 성능를 보였으며, 이는 참가자 간 차이에 대한 강건성을 시사한다.
• 17개 클래스 작업(AF-17)에서의 최고 성능는 참가자 간 평가에서 랜덤 포레스트(RF)와 크기 기반 특징을 사용한 56.58% MAA였으며, 이는 참가자 간 세분화된 분류의 어려움을 보여준다.
• k-NN를 사용한 AF-17에 대한 혼동 행렬은 유사한 낙상 유형 간 높은 오분류 비율을 보였으며, 가속도 데이터에서 겹치는 패턴이 있음을 시사한다.