[논문 리뷰] Deep Learning in Human Activity Recognition with Wearable Sensors: A Review on Advances

Shibo Zhang, Yaxuan Li외 5명|arXiv (Cornell University)|2021. 10. 31.

Context-Aware Activity Recognition Systems인용 수 49

한 줄 요약

이 리뷰는 웨어러블 센서 기반 인간 활동 인식(HAR)을 위한 딥 러닝 방법을 조사하고, 모델, 데이터셋, 응용 분야, 도전과제 및 향후 방향을 분류합니다.

ABSTRACT

Mobile and wearable devices have enabled numerous applications, including activity tracking, wellness monitoring, and human--computer interaction, that measure and improve our daily lives. Many of these applications are made possible by leveraging the rich collection of low-power sensors found in many mobile and wearable devices to perform human activity recognition (HAR). Recently, deep learning has greatly pushed the boundaries of HAR on mobile and wearable devices. This paper systematically categorizes and summarizes existing work that introduces deep learning methods for wearables-based HAR and provides a comprehensive analysis of the current advancements, developing trends, and major challenges. We also present cutting-edge frontiers and future directions for deep learning-based HAR.

연구 동기 및 목표

• HAR 배경, 센서 및 공용 데이터셋에 대한 개요를 제공합니다.
• 웨어러블 HAR에 사용되는 딥 러닝 접근법을 분류하고 장단점을 비교합니다.
• 딥 러닝 기반 HAR의 발전, 배포 고려사항 및 도전과제를 체계적으로 분석합니다.
• 웨어러블 HAR를 위한 딥 러닝의 경향 및 향후 방향을 식별합니다.

제안 방법

• PRISMA 프레임워크에 따라 체계적 문헌 고찰을 수행하여 대표 연구를 선택합니다.
• 자동인코더(Autoencoder), CNN, RNN, GAN, DRL 등과 같은 딥 러닝 접근법으로 연구를 정리하고 분류합니다.
• 공개 HAR 벤치마크에서 데이터셋, 센서, 응용 및 성능을 평가합니다.
• 공개 데이터셋에서의 정확도, 배포 가능성, 모델 선택 기준 측면에서 방법들을 비교합니다.
• 딥 러닝 기반 HAR에 대한 도전과제, 기회 및 향후 방향을 종합합니다.

실험 결과

연구 질문

• RQ1 RQ1 웨어러블로 HAR을 특징짓는 실제 응용 분야, 주류 센서 및 주요 공용 데이터셋은 무엇인가요?
• RQ2 RQ2 웨어러블 HAR에 사용되는 딥 러닝 접근법은 무엇이며 각각의 장점과 한계는 무엇인가요?
• RQ3 RQ3 딥 러닝 기반 HAR에서 어떤 도전과제가 존재하며 어떠한 기회나 솔루션이 예상되나요?
• RQ4 RQ4 데이터셋 및 센서 모달리티가 모델 성능 및 배치에 어떤 영향을 미치나요?

주요 결과

• 딥 러닝 방법은 전통적 머신 러닝 접근법에 비해 웨어러블 센서에서 HAR 성능을 향상시켰습니다.
• 본 리뷰는 DL 기반 HAR를 여섯 가지 주요 아키텍처와 그 트레이드오프를 포괄하는 분류 체계로 정리합니다.
• 공개 데이터셋과 센서 모달리티를 비판적으로 분석하여 모델 선정 및 벤치마킹에 정보를 제공합니다.
• 본 논문은 배포, 프라이버시 및 데이터 품질 고려사항을 포함한 도전과제와 기회를 강조합니다.
• GAN 및 딥 강화 학습과 같은 신흥 최전선이 HAR의 최첨단 방향으로 논의됩니다.