[논문 리뷰] Deep, Convolutional, and Recurrent Models for Human Activity Recognition using Wearables

Nils Hammerla, Shane Halloran외 1명|arXiv (Cornell University)|2016. 04. 29.

Context-Aware Activity Recognition Systems참고 문헌 22인용 수 372

한 줄 요약

본 논문은 웨어러블 센서 기반 HAR에 대해 심층 피드포워드, 컨볼루션, 순환 모델을 세 가지 데이터셋에 걸쳐 체계적으로 비교하고, 순환 신경망—특히 양방향 LSTM—이 종종 타 모델보다 우수하다는 것을 보이며, 하이퍼파라미터 튜닝에 대한 실용적 지침을 제시한다.

ABSTRACT

Human activity recognition (HAR) in ubiquitous computing is beginning to adopt deep learning to substitute for well-established analysis techniques that rely on hand-crafted feature extraction and classification techniques. From these isolated applications of custom deep architectures it is, however, difficult to gain an overview of their suitability for problems ranging from the recognition of manipulative gestures to the segmentation and identification of physical activities like running or ascending stairs. In this paper we rigorously explore deep, convolutional, and recurrent approaches across three representative datasets that contain movement data captured with wearable sensors. We describe how to train recurrent approaches in this setting, introduce a novel regularisation approach, and illustrate how they outperform the state-of-the-art on a large benchmark dataset. Across thousands of recognition experiments with randomly sampled model configurations we investigate the suitability of each model for different tasks in HAR, explore the impact of hyperparameters using the fANOVA framework, and provide guidelines for the practitioner who wants to apply deep learning in their problem setting.

연구 동기 및 목표

• HAR에서 수작업으로 엔지니어링된 특징에 대한 대안으로 딥 러닝의 활용을 촉진한다.
• 대표 HAR 태스크 전반에 걸쳐 심층 피드포워드, 합성곱( CNN ), 순환 모델을 체계적으로 비교한다.
• fANOVA 프레임워크를 이용해 하이퍼파라미터가 성능에 미치는 영향을 분석한다.
• 실제 환경에서 HAR에 딥 러닝을 적용하는 실무자들을 위한 실용적 지침을 제공한다.

제안 방법

• 최대 다섯 개의 은닉층과 드롭아웃 및 max-in-norm 정규화를 포함한 심층 피드포워드 네트워크(DNN)를 구현한다.
• 시계열 합성곱을 갖춘 합성곱 신경망(CNN)을 구현하고 맥스풀링과 완전 연결층, 정규화를 포함한다.
• LSTM 셀을 기반으로 한 순환 신경망을 구현한다. 순방향 LSTM(LSTM-F), 샘플 단위 순방향 LSTM(LSTM-S), 양방향 LSTM(b-LSTM-S)을 포함한다.
• 프레임 기반 움직임 데이터로 네트워크를 학습하고, RNN의 경우 내부 상태를 0으로 재설정하는 carry 확률을 가지는 새로운 carry-over 정규화를 도입한다.
• 학습에 확률적 경사 하강법/ Adagrad를 사용하고 세 가지 HAR 데이터셋에서 평균 F1-점수와 가중 F1-점수로 평가한다.

실험 결과

연구 질문

• RQ1 다양한 활동 유형과 지속 시간에 걸쳐 어떤 딥 러닝 모델군(DNN, CNN, RNN)이 HAR 태스크에 가장 적합한가?
• RQ2 각 모델 범주 내 하이퍼파라미터(학습, 정규화, 아키텍처)가 HAR 성능에 어떤 영향을 미치는가?
• RQ3 RNN이 샘플 수준에서 움직임 데이터를 모델링해 실시간 또는 온라인 HAR을 가능하게 할 수 있는가?
• RQ4 다양한 데이터셋과 태스크에 대해 HAR 모델을 선택하고 튜닝할 때 실무자에게 제시되는 가이드라인은 무엇인가?

주요 결과

• 양방향 LSTM(b-LSTM-S)이 Opportunity 데이터셋에서 최우수 평균 F1를 달성하고 해당 데이터셋의 최첨단 성능을 능가한다.
• 양방향 및 순방향 LSTM이 종종 CNN과 DNN을 능가하여 샘플 단위 예측이 가능하고 짧고 시계열적으로 정렬된 활동에서 강력하다.
• 짧고 시계열적으로 정렬된 활동에서 CNN은 DNN을 능가하지만 학습률 및 정규화 설정에 더 민감하다.
• 하이퍼파라미터의 최대 영향은 CNN의 학습 설정과 양방향 LSTMs의 유닛 수에서 나타나며, 데이터셋에 따라 민감도가 다르게 나타난다.
• 데이터셋 전반에 걸쳐 RNN은 상당한 성능 향상을 보이고, 무거운 프레임 기반 분할 없이 실시간 HAR 가능성을 제시한다.