[논문 리뷰] Human Activity Recognition Based on Wearable Sensor Data: A Standardization of the State-of-the-Art

Artur Jordão, Antonio C. Nazaré외 2명|arXiv (Cornell University)|2018. 06. 13.

Context-Aware Activity Recognition Systems참고 문헌 27인용 수 80

한 줄 요약

논문은 샘플 생성 및 검증 프로토콜을 분석하여 웨어러블 센서 인간 활동 인식에서 평가를 표준화하고 일반 방법의 편향을 보여주며 두 가지 새로운 샘플 생성 접근법과 데이터 세트 표준화를 제안한다.

ABSTRACT

Human activity recognition based on wearable sensor data has been an attractive research topic due to its application in areas such as healthcare and smart environments. In this context, many works have presented remarkable results using accelerometer, gyroscope and magnetometer data to represent the activities categories. However, current studies do not consider important issues that lead to skewed results, making it hard to assess the quality of sensor-based human activity recognition and preventing a direct comparison of previous works. These issues include the samples generation processes and the validation protocols used. We emphasize that in other research areas, such as image classification and object detection, these issues are already well-defined, which brings more efforts towards the application. Inspired by this, we conduct an extensive set of experiments that analyze different sample generation processes and validation protocols to indicate the vulnerable points in human activity recognition based on wearable sensor data. For this purpose, we implement and evaluate several top-performance methods, ranging from handcrafted-based approaches to convolutional neural networks. According to our study, most of the experimental evaluations that are currently employed are not adequate to perform the activity recognition in the context of wearable sensor data, in which the recognition accuracy drops considerably when compared to an appropriate evaluation approach. To the best of our knowledge, this is the first study that tackles essential issues that compromise the understanding of the performance in human activity recognition based on wearable sensor data.

연구 동기 및 목표

• 웨어러블 센서 활동 인식 평가에서 성능에 편향을 주는 요인을 식별한다.
• 샘플 생성 및 검증 프로토콜이 보고된 정확도에 어떤 영향을 미치는지 평가한다.
• 표준화된 평가 하에서 다수의 최고 성능 방법(수작업 특징부터 ConvNet까지)을 구현하고 비교한다.
• 편향을 줄이고 공정한 비교를 가능하게 하는 두 가지 새로운 데이터 샘플 생성 프로세스를 제안한다.
• 재현 가능한 평가를 촉진하기 위해 공개 가능한 웨어러블 센서 데이터 세트를 표준화한다.

제안 방법

• 수작업 특징부터 합성곱 신경망에 이르는 다수의 최신 활동 인식 방법을 구현하고 평가한다.
• 데이터 샘플 생성 프로세스가 인식 성능과 편향에 미치는 영향을 분석한다.
• 편향 및 데이터 부족 문제를 다루기 위해 Full-Non-Overlapping-Window 및 Leave-One-Trial-Out 샘플 생성 프로세스를 제안한다.
• 다른 센서 구성의 데이터 세트를 표준화하여 일관된 평가를 가능하게 한다.
• 성능에 대한 프로토콜 효과를 분석하기 위해 10겹 교차 검증과 Leave-One-Subject-Out 검증을 사용한다.
• 방법 간 비교와 등가성 평가를 위한 통계적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 샘플 생성 프로세스가 웨어러블 센서 데이터의 보고된 활동 인식 정확도에 어떤 편향을 야기하는가?
• RQ2 다양한 데이터 세트에서 견고하고 덜 편향된 성능 추정치를 제공하는 검증 프로토콜은 무엇인가?
• RQ3 표준화된 평가하에서 수작업 특징과 ConvNet 기반 방법이 여전히 경쟁력이 있는가?
• RQ4 새로운 데이터 샘플 생성 방식이 샘플 크기를 과도하게 줄이지 않으면서 편향을 줄일 수 있는가?
• RQ5 공개 데이터 세트를 재현 가능한 벤치마킹이 가능하도록 어떻게 표준화해야 하는가?

주요 결과

• 부분적 비중첩 창 샘플링의 편향은 학습과 테스트 간 중첩을 일으켜 정확도를 과대 평가할 수 있으며, 편향이 제거되면 성능이 하락한다.
• Full-Non-Overlapping-Window는 편향을 줄이지만 샘플 수가 적어 정확도가 낮아질 수 있다.
• Leave-One-Trial-Out은 교차 검증 구조를 유지하면서 트라이얼 내 중첩을 방지해 편향을 완화한다.
• 표준화된 평가하에서 많은 방법의 정확도가 편향된 설정에 비해 평균적으로 약 10퍼센트 포인트 감소한다.
• ConvNet 기반 방법은 채널 분리, 커널 크기 등의 주의 깊은 아키텍처 선택이 필요하며, 저샘플링 속도 데이터세트에서 현실적이지 않을 수 있다.
• 데이터 세트 간 표준화는 방법의 내구성 차이를 드러내며 재현 가능한 벤치마크의 필요성을 강조한다.