[논문 리뷰] Opportunities of a Machine Learning-based Decision Support System for Stroke Rehabilitation Assessment

Min Hun Lee, Daniel P. Siewiorek외 3명|arXiv (Cornell University)|2020. 02. 27.

Stroke Rehabilitation and Recovery참고 문헌 33인용 수 10

한 줄 요약

이 논문은 뇌졸중 재활을 위한 기계학습 기반 의사결정 지원 시스템을 제안하며, 강화학습을 활용해 중요한 운동 특징을 식별하고 신경망을 통해 성능 점수(운동 범위, 부드러움, 보상)를 예측한다. 일곱 명의 치료사 대상 평가에서 이중 평가자 간 일致도가 유의미하게 향상되었으며(F1-스코어 0.6600에서 0.7108로, p<0.05), 사용자 맞춤형 시각화 기능이 임상 평가의 신뢰도와 일관성을 높였다.

ABSTRACT

Rehabilitation assessment is critical to determine an adequate intervention for a patient. However, the current practices of assessment mainly rely on therapist's experience, and assessment is infrequently executed due to the limited availability of a therapist. In this paper, we identified the needs of therapists to assess patient's functional abilities (e.g. alternative perspective on assessment with quantitative information on patient's exercise motions). As a result, we developed an intelligent decision support system that can identify salient features of assessment using reinforcement learning to assess the quality of motion and summarize patient specific analysis. We evaluated this system with seven therapists using the dataset from 15 patient performing three exercises. The evaluation demonstrates that our system is preferred over a traditional system without analysis while presenting more useful information and significantly increasing the agreement over therapists' evaluation from 0.6600 to 0.7108 F1-scores ($p &lt;0.05$). We discuss the importance of presenting contextually relevant and salient information and adaptation to develop a human and machine collaborative decision making system.

연구 동기 및 목표

• 뇌졸중 재활 평가에서 치료사가 요구하는 바, 특히 정량적이고 운동 기반의 피드백에 대한 필요성을 규명한다.
• 강화학습을 활용해 중요한 운동 특징을 탐지하고 운동 품질을 예측하는 지능형 의사결정 지원 시스템을 개발한다.
• 사용자 맞춤형 분석과 예측 점수 제공가능성이 치료사 간 평가 일致도 및 의사결정 일관성 향상에 기여하는지 평가한다.
• 인간-AI 협업이 재활 환경에서 임상 의사결정 지원을 어떻게 향상시킬 수 있는지 탐색한다.

제안 방법

• 15명의 뇌졸중 환자가 수행한 상지 운동 3종에 대한 운동 데이터를 기반으로 강화학습 모델을 훈련시켜 평가에 유의미한 특징을 식별하였다.
• 운동 범위, 부드러움, 보상 등의 각 성능 요소별로 별도의 신경망을 사용하였으며, 각각 다른 아키텍처와 학습률을 적용하였다.
• 영향을 받은 쪽 성능과 비교하기 위해 보유하지 않은 쪽의 운동 데이터를 활용해 사용자 맞춤형 분석을 생성하였다.
• 비디오, 예측 점수, 특징 비교, 중요한 프레임, 관절 궤적 추세 등을 표시하는 시각화 인터페이스를 설계하였다.
• 모델 훈련을 위해 환자를 한 명씩 제외한 교차검증 전략을 사용하였다.
• 치료사가 특징의 중요도를 조정하거나 잘못된 예측를 수정할 수 있도록 상호작용 기반 피드백 메커니즘을 통합하였다.

실험 결과

연구 질문

• RQ1 치료사가 뇌졸중 재활 운동 평가 시 정량적 운동 데이터에 대해 어떤 구체적인 요구사항을 가지고 있는가?
• RQ2 기계학습 시스템이 강화학습을 활용해 운동 품질의 중요한 특징을 어떻게 식별할 수 있는가?
• RQ3 예측된 성능 점수와 사용자 맞춤형 분석을 제공할 경우 치료사 간 운동 평가 일치도가 어느 정도 향상되는가?
• RQ4 시스템의 설명 기능이 치료사의 신뢰도와 의사결정 일관성에 어떤 영향을 미치는가?
• RQ5 시스템이 치료사의 개인적 선호와 임상 워크플로우에 어떻게 맞춤형으로 조정될 수 있는가?

주요 결과

• 치료사 간 상호 평가 신뢰도가 유의미하게 향상되어 평균 F1-스코어가 기존 시스템의 0.6600에서 0.7108로 상승하였다(p<0.05).
• 사용자 맞춤형 시각화 및 성능 설명 기능이 포함되어 치료사들이 시스템에 대해 더 큰 신뢰도와 유용성을 느꼈다.
• 시스템을 통해 정량적이고 운동 기반의 증거를 바탕으로 평가를 검증할 수 있어 반복적인 영상 검토에 의존하는 것을 줄일 수 있었다.
• 치료사들은 보상 패턴을 더 잘 포착하기 위해 '몸을 옆으로 기울이는 것'과 같은 특정 기능을 추가할 것을 제안하였다.
• 임상적 추론에 부합하는 구조적이고 맥락에 맞는 통찰을 제공함으로써 시스템이 더 일관된 평가를 지원하였다.
• 식별된 특징를 조정하거나 수정할 수 있는 적응형 기능이 임상 전문 지식에 맞게 시스템 출력을 개인화하는 데 있어 유용하게 평가되었다.