[논문 리뷰] Towards data-driven stroke rehabilitation via wearable sensors and deep learning

Aakash Kaku, Avinash Parnandi외 4명|arXiv (Cornell University)|2020. 04. 14.

Stroke Rehabilitation and RecoveryMedicine참고 문헌 23인용 수 20

한 줄 요약

이 연구는 웨어러블 관성 측정 단위(IMU)와 딥 러닝 모델을 사용하여 뇌졸중 재활의 복용량 측정을 위한 데이터 기반 접근법을 제안한다. 이 방법은 재활 활동의 기본 구성 요소인 기능적 운동 프리미티브를 자동으로 식별한다. 모델은 물리량 특화 임bedding과 인스턴스 정규화를 사용하는 컨볼루션 신경망을 활용하여 평균 분류 정확도 70%를 달성하며, 치료 반복 수를 객관적이고 세밀하게 추적할 수 있다.

ABSTRACT

Recovery after stroke is often incomplete, but rehabilitation training may potentiate recovery by engaging endogenous neuroplasticity. In preclinical models of stroke, high doses of rehabilitation training are required to restore functional movement to the affected limbs of animals. In humans, however, the necessary dose of training to potentiate recovery is not known. This ignorance stems from the lack of objective, pragmatic approaches for measuring training doses in rehabilitation activities. Here, to develop a measurement approach, we took the critical first step of automatically identifying functional primitives, the basic building block of activities. Forty-eight individuals with chronic stroke performed a variety of rehabilitation activities while wearing inertial measurement units (IMUs) to capture upper body motion. Primitives were identified by human labelers, who labeled and segmented the associated IMU data. We performed automatic classification of these primitives using machine learning. We designed a convolutional neural network model that outperformed existing methods. The model includes an initial module to compute separate embeddings of different physical quantities in the sensor data. In addition, it replaces batch normalization (which performs normalization based on statistics computed from the training data) with instance normalization (which uses statistics computed from the test data). This increases robustness to possible distributional shifts when applying the method to new patients. With this approach, we attained an average classification accuracy of 70%. Thus, using a combination of IMU-based motion capture and deep learning, we were able to identify primitives automatically. This approach builds towards objectively-measured rehabilitation training, enabling the identification and counting of functional primitives that accrues to a training dose.

연구 동기 및 목표

• 현재 치료 시간 또는 수동 관찰로만 추정되는 뇌졸중 재활의 훈련 복용량을 객관적이고 확장 가능한 방법으로 측정하기 위한 방법 개발.
• 운동 기반의 목적 특화 운동 — 최소한의 기능적 운동 — 을 웨어러블 IMU에서 수집한 운동학적 데이터를 통해 식별하고 분류하기.
• 다양한 환자 집단 간 분포 이탈에 강건하고, 다중 모odal 센서 데이터(예: 가속도, 각속도)를 처리할 수 있는 딥 러닝 모델 설계.
• 향후 복용량-반응 연구를 가능하게 하기 위해 자동화된 치료 반복 수의 세밀한 카운팅 제공.
• 기존 방법이 운동을 기능적 또는 비기능적으로만 분류할 뿐 운동의 내용을 식별하지 못하는 한계를 극복하기 위해.

제안 방법

• 연구는 상지에 부착된 관성 측정 단위(IMU)를 사용하여 재활 활동 중 고해상도 운동학적 데이터(가속도 및 각속도)를 캡처한다.
• 인간 레이블러가 IMU 데이터를 기능적 프리미티브로 분할하고 주석을 붙여 48명의 만성 뇌졸중 환자에 대한 지도 학습 데이터셋을 구축한다.
• 다른 물리량(예: 가속도, 각속도)을 위한 별도의 임bedding 모듈을 갖춘 컨볼루션 신경망(CNN)을 설계하여 센서 특화 특징을 유지한다.
• 배치 정규화 대신 인스턴스 정규화를 도입하여 새로운 환자에 대한 추론 시 분포 이탈에 대한 강건성을 향상시킨다.
• 5개의 정의된 기능적 프리미티브(접근, 운반, 움켜쥐기, 기저귀기, 정지)를 분류하기 위해 네트워크를 엔드 투 엔드로 훈련한다.
• 분류 작업은 10ms의 시간 해상도로 수행되어 세밀한 운동 분석이 가능하다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 만성 뇌졸중 환자에서 IMU 데이터로부터 기능적 운동 프리미티브를 정확하게 식별할 수 있는가?
• RQ2 센서 데이터의 다양한 물리적 양에 대해 별도의 임bedding을 사용하는 것이 분류 성능 향상에 기여하는가?
• RQ3 배치 정규화를 인스턴스 정규화로 대체하면 다양한 환자 집단 간 모델의 강건성이 향상되는가?
• RQ4 이 방법은 치료 시간 기반 또는 기능적/비기능적 운동 이분법보다 더 세밀하고 객관적인 재활 훈련 복용량 측정이 가능한가?
• RQ5 유사한 프리미티브(예: 접근 vs. 운반)를 구분하는 데 주로 발생하는 과제는 무엇이며, 이를 어떻게 해결할 수 있는가?

주요 결과

• 제안된 딥 러닝 모델은 5개의 기능적 프리미티브에 대해 평균 분류 정확도 70%를 달성하여 무작위 추측(20%)을 크게 초월한다.
• 센서 데이터의 다양한 물리적 양에 대해 별도의 임bedding을 사용함으로써 모델 성능 향상이 이루어졌으며, 이는 모odal 특화 특징을 유지했기 때문이다.
• 인스턴스 정규화는 특히 훈련 중에 볼 수 없었던 신규 환자에 적용했을 때 모델의 강건성을 향상시켰다.
• 모델은 특히 '접근'과 '운반', '정지'와 '안정화'를 구분하는 데 어려움을 겪었으며, 이는 손목에 부착된 IMU로는 미세한 움켜쥐기 타이밍과 손가락 자세를 포착하기 어려운 한계를 보여준다.
• 심각한 기능 장애가 있는 환자에서는 모델의 성능이 저하되었으며, 이는 더 크고 다양한 데이터셋과 개선된 일반화 기법이 필요함을 시사한다.
• 이 연구는 IMU 데이터와 딥 러닝을 활용해 기능적 프리미티브를 추출하고 카운팅하는 것이 가능함을 입증하며, 객관적이고 데이터 기반의 재활 복용량 측정의 기초를 마련한다.