[논문 리뷰] Deep Recurrent Neural Network for Mobile Human Activity Recognition with High Throughput

Masaya Inoue, Sozo Inoue외 1명|arXiv (Cornell University)|2016. 11. 11.

Context-Aware Activity Recognition Systems참고 문헌 24인용 수 8

한 줄 요약

이 논문은 특징 추출을 제거함으로써 높은 정확도와 처리량을 달성하는 원시 가속도계 데이터를 사용한 실시간 인간 활동 인식을 위한 딥 순환 신경망(DRNN)을 제안한다. DRNN는 단일 활동 시험에서 95.42%의 인식 정확도와 순차적 시험에서 83.43%의 정확도를 기록하며, 인fer런스 지연 시간은 단지 1.347ms에 불과하여 특징 계산을 포함해 11.031ms가 소요되는 전통적 방법보다 8.19배 빠르다.

ABSTRACT

In this paper, we propose a method of human activity recognition with high throughput from raw accelerometer data applying a deep recurrent neural network (DRNN), and investigate various architectures and its combination to find the best parameter values. The "high throughput" refers to short time at a time of recognition. We investigated various parameters and architectures of the DRNN by using the training dataset of 432 trials with 6 activity classes from 7 people. The maximum recognition rate was 95.42% and 83.43% against the test data of 108 segmented trials each of which has single activity class and 18 multiple sequential trials, respectively. Here, the maximum recognition rates by traditional methods were 71.65% and 54.97% for each. In addition, the efficiency of the found parameters was evaluated by using additional dataset. Further, as for throughput of the recognition per unit time, the constructed DRNN was requiring only 1.347 [ms], while the best traditional method required 11.031 [ms] which includes 11.027 [ms] for feature calculation. These advantages are caused by the compact and small architecture of the constructed real time oriented DRNN.

연구 동기 및 목표

• 원시 가속도계 데이터를 사용해 고처리량을 달성하는 실시간 인간 활동 인식 시스템을 개발한다.
• 최고의 DRNN 아키텍처와 하이퍼파라미터를 조사하여 인식 정확도와 인fer런스 속도를 최대화한다.
• 수동으로 설계된 특징 추출에 의존하는 전통적 기계 학습 방법과의 성능을 비교한다.
• 제한된 계산 자원을 가진 모바일 장치에 배포하기 위한 DRNN의 효율성과 확장성 평가

제안 방법

• 원시 시계열 가속도계 데이터를 사전 특징 추출 없이 직접 처리하기 위해 딥 순환 신경망(DRNN)을 활용한다.
• 순차적 센서 데이터의 시간적 의존성을 모델링하기 위해 다중 순환층을 가진 스택드 RNN 아키텍처를 적용한다.
• 학습의 안정성과 과적합 방지를 위해 기울기 클리핑과 드롭아웃 정규화를 적용한다.
• 절단된 역전파 시간, 학습률, 드롭아웃 비율 등의 하이퍼파라미터를 철저한 분석 실험을 통해 최적화한다.
• 7명의 참가자로부터 수집된 432개의 분할 시험을 포함한 HASC 데이터셋을 사용해 학습 및 검증을 수행한다. 활동 클래스는 총 6개이다.
• CPU에서의 인fer런스 처리량을 평가하여 실시간 구현 가능성을 분석하기 위해 입력 샘플당 인식 지연 시간을 측정한다.

Figure 2: Back propagation in DRNN

실험 결과

연구 질문

• RQ1 원시 가속도계 데이터를 직접 처리할 때, 딥 순환 신경망이 전통적 방법보다 더 높은 인식 정확도를 달성할 수 있는가?
• RQ2 어떤 DRNN 아키텍처와 하이퍼파라미터(예: 절단 시간, 드롭아웃 비율)가 인간 활동 인식 작업에서 최고의 성능을 내는가?
• RQ3 특징 추출에 시간이 소요되는 전통적 방법과 비교해 DRNN의 인fer런스 처리량은 어떻게 되는가?
• RQ4 최적화된 DRNN 하이퍼파라미터가 HAR 오픈 데이터셋과 같은 다른 데이터셋으로도 일반화될 수 있는가?
• RQ5 최소한의 계산 오버헤드로 모바일 장치에 배포 가능한 실시간 성능을 DRNN이 달성할 수 있는가?

주요 결과

• DRNN는 단일 활동 테스트 시험에서 최대 95.42%의 인식 정확도를 기록했으며, 이는 전통적 방법(71.65%)보다 뚜렷이 높은 성능이다.
• 다중 순차 활동 테스트에서는 DRNN가 83.43%의 정확도를 달성했고, 전통적 방법은 54.97%에 그쳤다.
• DRNN의 인fer런스 지연 시간은 샘플당 단지 1.347ms이며, 이는 전통적 방법의 11.031ms(특징 추출에 11.027ms 소요)보다 8.19배 빠르다.
• DRNN의 총 가중치 수는 기존의 CNN+LSTM 모델보다 10% 미만이어서 모바일 장치에 컴팩트하게 배포할 수 있다.
• 특히 약 50%의 드롭아웃 비율이 일반화 능력과 인식 정확도 향상에 크게 기여함을 확인했다.
• 최적화된 DRNN 하이퍼파라미터는 HAR 오픈 데이터셋에서 95.03%의 정확도를 기록하여 학습된 특징의 이식 가능성과 강건성을 확인했다.

Figure 3: Structural drawing of LSTM