[논문 리뷰] Deep Residual Bidir-LSTM for Human Activity Recognition Using Wearable Sensors

Yu Zhao, Rennong Yang외 2명|arXiv (Cornell University)|2017. 08. 22.

Context-Aware Activity Recognition Systems참고 문헌 23인용 수 23

한 줄 요약

이 논문은 웨어러블 센서를 사용한 인간 활동 인식을 위한 딥 리스크리드 양방향 LSTM 네트워크를 제안한다. 양방향 LSTM 셀을 활용해 과거와 미래의 시간적 맥락을 모두 포착하고, 기울기 소실 문제를 완화하기 위해 잔차 연결을 도입한다. 기존 방법 대비 Opportunity 데이터셋에서 4.78% 및 UCI HAR 데이터셋에서 3.68%의 정확도 향상을 달성한다.

ABSTRACT

Human activity recognition (HAR) has become a popular topic in research because of its wide application. With the development of deep learning, new ideas have appeared to address HAR problems. Here, a deep network architecture using residual bidirectional long short-term memory (LSTM) cells is proposed. The advantages of the new network include that a bidirectional connection can concatenate the positive time direction (forward state) and the negative time direction (backward state). Second, residual connections between stacked cells act as highways for gradients, which can pass underlying information directly to the upper layer, effectively avoiding the gradient vanishing problem. Generally, the proposed network shows improvements on both the temporal (using bidirectional cells) and the spatial (residual connections stacked deeply) dimensions, aiming to enhance the recognition rate. When tested with the Opportunity data set and the public domain UCI data set, the accuracy was increased by 4.78% and 3.68%, respectively, compared with previously reported results. Finally, the confusion matrix of the public domain UCI data set was analyzed.

연구 동기 및 목표

• 웨어러블 센서 데이터를 활용한 인간 활동 인식 정확도 향상을 목적으로 한다.
• HAR를 위한 깊은 순환 신경망에서 기울기 소실 문제를 해결한다.
• 양방향 LSTMs를 통해 전방 및 후방 시간적 의존성을 모두 활용한다.
• 네트워크 아키텍처에서 깊은 잔차 연결을 통해 특징 표현 학습을 향상시킨다.
• 표준 HAR 기준 데이터셋을 활용해 제안된 모델을 검증한다.

제안 방법

• 모델은 순차 데이터를 전방 및 후방 방향으로 처리하기 위해 양방향 장기 단기 기억(기억) 네트워크(LSTM) 셀을 사용하여 포괄적인 시간적 맥락을 포착한다.
• LSTM 층 간에 잔차 연결을 중첩하여 직접 기울기 흐름을 가능하게 하고 깊은 네트워크에서의 학습 안정성을 향상시킨다.
• 네트워크 아키텍처는 시간 모델링을 위한 양방향 처리와 깊은 네트워크 최적화를 위한 잔차 학습을 결합한다.
• 확률적 경사 하강법를 사용하여 웨어러블 센서 데이터를 엔드 투 엔드로 학습하고, 적응형 학습률을 적용한다.
• 최종 표현을 향상시키기 위해 전방 및 후방 LSTM 은닉 상태를 특징 수준에서 연결한다.
• 표준 교차 검증 프로토콜을 사용하여 모델을 Opportunity 및 UCI HAR 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 센서 시퀀스에서 과거와 미래의 맥락을 모두 포착함으로써 양방향 LSTMs가 활동 인식 정확도 향상에 기여할 수 있는가?
• RQ2 깊은 양방향 LSTM 아키텍처에 잔차 연결을 통합함으로써 기울기 소실 효과가 감소하고 성능 향상이 이루어지는가?
• RQ3 제안된 딥 리스크리드 양방향-LSTM은 표준 HAR 벤치마크에서 최신 기술 대비 어떻게 비교되는가?
• RQ4 잔차 연결이 웨어러블 센서 데이터에서 장거리 시간적 의존성 학습에 미치는 영향은 무엇인가?
• RQ5 모델은 다양한 센서 모odal리티와 활동 유형 간에 잘 일반화되는가?

주요 결과

• 제안된 딥 리스크리드 양방향-LSTM은 이전에 보고된 결과 대비 Opportunity 데이터셋에서 4.78%의 정확도 향상을 달성했다.
• UCI HAR 데이터셋에서는 기존 최고 성능 방법 대비 3.68%의 정확도 향상을 달성했다.
• UCI 데이터셋에서의 혼동 행렬 분석 결과, 모든 활동 유형에서 일관된 성능을 보였으며, 유사한 동작 간 오분류가 최소한이었다.
• 잔차 연결은 깊은 아키텍처에서 학습 수렴과 모델 안정성 향상에 크게 기여했다.
• 양방향 설계는 장기적인 시간적 의존성을 효과적으로 포착하여 복잡하고 순차적인 활동의 인식을 향상시켰다.
• 모델은 다양한 센서 데이터와 활동 유형 간에서 뛰어난 강인성과 일반화 능력을 보였다.