[논문 리뷰] Personalized Step Counting Using Wearable Sensors: A Domain Adapted LSTM Network Approach

Arvind Pillai, Halsey Lea외 2명|arXiv (Cornell University)|2020. 12. 11.

Context-Aware Activity Recognition Systems인용 수 5

한 줄 요약

이 논문은 웨어러블 센서 데이터를 활용한 개인화된 스텝 수 계산을 위한 도메인 적응형 LSTM 네트워크를 제안하며, 최소한의 개인별 데이터로 일반 모델을 미세 조정하기 위해 전이 학습을 활용한다. 새로운 기기와 개인 집단에 대해 사전 학습된 모델을 적응시킴으로써 약 98.8%의 스텝 수 계산 정확도를 달성하여 개인 및 기기 간에 높은 정확도와 강건성을 입증한다.

ABSTRACT

Activity monitors are widely used to measure various physical activities (PA) as an indicator of mobility, fitness and general health. Similarly, real-time monitoring of longitudinal trends in step count has significant clinical potential as a personalized measure of disease related changes in daily activity. However, inconsistent step count accuracy across vendors, body locations, and individual gait differences limits clinical utility. The tri-axial accelerometer inside PA monitors can be exploited to improve step count accuracy across devices and individuals. In this study, we hypothesize: (1) raw tri-axial sensor data can be modeled to create reliable and accurate step count, and (2) a generalized step count model can then be efficiently adapted to each unique gait pattern using very little new data. Firstly, open-source raw sensor data was used to construct a long short term memory (LSTM) deep neural network to model step count. Then we generated a new, fully independent data set using a different device and different subjects. Finally, a small amount of subject-specific data was domain adapted to produce personalized models with high individualized step count accuracy. These results suggest models trained using large freely available datasets can be adapted to patient populations where large historical data sets are rare.

연구 동기 및 목표

• 다양한 웨어러블 기기와 개인의 보행 패턴에 일반화되는 개인화된 스텝 수 계산 시스템을 개발하기 위해.
• 기기의 변동성과 개인의 보행 패턴 차이로 인한 스텝 수 계산 정확도의 일관성 없는 문제를 해결하기 위해.
• 사전 학습된 딥 러닝 모델이 최소한의 레이블이 있는 데이터로 효과적으로 미세 조정되어 개인화된 성능을 달성할 수 있는지 평가하기 위해.
• 대규모 역사적 데이터셋이 확보되지 않은 임상 환경에서 전이 학습의 가능성을 입증하기 위해.

제안 방법

• 스텝 분류를 위해 256개의 유닛을 가진 다수에서 한 개로의 LSTM 네트워크(완전 연결 계층 2개, 각각 512 및 256개 유닛, ReLU 활성화 함수)를 사용하였다.
• 입력 특징은 0.466초 간격의 삼축 가속도계(g/s) 및 자이로스코프(도/초) 데이터로, 15Hz로 재샘플링되었다.
• 각 윈도우를 왼쪽 또는 오른쪽 스텝으로 분류하기 위해 소프트맥스 레이어를 사용하였으며, 전이 수를 총 스텝 수로 간주하였다.
• 도메인 적응은 Pedometer 데이터셋(Shimmer3)에서 사전 학습된 일반 모델을 AZ 데이터셋(ActiGraph GT9X Link)의 30초 분량의 개인별 데이터로 미세 조정함으로써 적용되었다.
• 모델 평가에는 클래스 정확도와 스텝 수 정확도 지표를 사용하였으며, 기준값은 영상 확인을 통해 확정된 주석에서 유도되었다.
• 전이 학습은 도메인 적응을 통해 적용되었으며, 이는 소스 및 타겟 분포가 다를 경우(P(X_S) ≠ P(X_T))에도 레이블 공간은 동일하다.

실험 결과

연구 질문

• RQ1 대규모 공개 데이터셋에서 학습된 딥 러닝 모델이 최소한의 적응을 통해 새로운 웨어러블 기기와 개인에게 일반화될 수 있는가?
• RQ2 일반 모델이 적응 없이 새로운 기기와 개인 집단에 적용되었을 때 성능이 어떻게 저하되는가?
• RQ3 작은 양의 개인별 데이터가 도메인 적응을 통해 스텝 수 정확도를 어느 정도 향상시킬 수 있는가?
• RQ4 도메인 적응된 모델이 교차 기기 및 교차 개인 시나리오에서 일반 모델을 능가할 수 있는가?

주요 결과

• 일반 LSTM 모델(LSTM-General I)은 소스 Pedometer 데이터셋에서 98.63%의 스텝 수 정확도를 달성하여 강력한 기준 성능을 입증하였다.
• 새로운 기기와 개인 집단(AZ 데이터셋)에서 테스트한 결과, 일반 모델의 정확도는 스텝 수 기준 94.49%로 떨어지고 클래스 정확도는 60.01%로 낮아져 교차 기기 일반화 능력이 떨어지는 것으로 나타났다.
• 단지 30초 분량의 개인별 데이터로 도메인 적응을 수행한 후, 개인화된 모델(LSTM-Personalized)은 98.81%의 스텝 수 정확도와 91.76%의 클래스 정확도를 달성하여 새로운 데이터셋에서 일반 모델를 능가하는 성능을 보였다.
• 개인화된 모델의 중앙값 성능은 일반 모델 수준과 일치하여 개인 간 효과적인 적응이 이루어졌음을 시사한다.
• 개인화된 모델은 이질적인 케이스에서도 성능 저하를 효과적으로 완화하여 개인의 보행 패턴 변동성에 강건함을 입증하였다.
• 결과적으로, 최소한의 레이블이 있는 데이터로도 전이 학습을 통해 임상적으로 수용 가능한 정확도의 개인화된 스텝 수 계산이 가능하다는 점을 확인하였다.