[논문 리뷰] Vision-based Estimation of MDS-UPDRS Gait Scores for Assessing Parkinson's Disease Motor Severity

Mandy Lu, Kathleen L. Poston외 6명|arXiv (Cornell University)|2020. 07. 17.

Parkinson's Disease Mechanisms and Treatments참고 문헌 26인용 수 9

한 줄 요약

이 논문은 단일 렌즈 영상에서 3D 신체 스켈레톤을 추출하고, 시간적 컨volution 신경망과 하이브리드 순서-포칼 손실 함수를 적용하여 파킨슨병 환자의 MDS-UPDRS 보행 점수를 시각 기반으로 추정하는 방법을 제안한다. 이는 F1 점수 0.83과 균형 잡힌 정확도 81%를 달성하며, 임상 규모의 영상 데이터를 사용한 자동화되고 비침습적인 파킨슨병 보행 중증도 평가를 위한 첫 번째 벤치마크를 수립한다.

ABSTRACT

Parkinson's disease (PD) is a progressive neurological disorder primarily affecting motor function resulting in tremor at rest, rigidity, bradykinesia, and postural instability. The physical severity of PD impairments can be quantified through the Movement Disorder Society Unified Parkinson's Disease Rating Scale (MDS-UPDRS), a widely used clinical rating scale. Accurate and quantitative assessment of disease progression is critical to developing a treatment that slows or stops further advancement of the disease. Prior work has mainly focused on dopamine transport neuroimaging for diagnosis or costly and intrusive wearables evaluating motor impairments. For the first time, we propose a computer vision-based model that observes non-intrusive video recordings of individuals, extracts their 3D body skeletons, tracks them through time, and classifies the movements according to the MDS-UPDRS gait scores. Experimental results show that our proposed method performs significantly better than chance and competing methods with an F1-score of 0.83 and a balanced accuracy of 81%. This is the first benchmark for classifying PD patients based on MDS-UPDRS gait severity and could be an objective biomarker for disease severity. Our work demonstrates how computer-assisted technologies can be used to non-intrusively monitor patients and their motor impairments. The code is available at https://github.com/mlu355/PD-Motor-Severity-Estimation.

연구 동기 및 목표

• 단일 렌즈 영상 기록만을 사용하여 파킨슨병 환자의 MDS-UPDRS 보행 점수를 비침습적이고 컴퓨터 비전 기반으로 추정하는 방법을 개발하기 위해.
• 임상 데이터셋에서의 클래스 불균형 문제를 해결하기 위해 MDS-UPDRS 점수의 순서적 성격을 고려한 손실 함수를 설계하기 위해.
• 영상 기반 3D 자세 추정을 활용하여 파킨슨병의 운동 중증도를 자동으로 객관적으로 평가하는 데 새로운 벤치마크를 수립하기 위해.
• 비용이 많이 들거나 침습적인 웨어러블 기기나 뇌 영상 대신 접근 가능한 영상 기반 도구로 파킨슨병 진행 상황을 확장 가능하고 원격으로 모니터링할 수 있도록 하기 위해.
• 영상에서 추출한 3D 관절 데이터가 높은 정확도로 임상적 운동 중증도 점수를 효과적으로 예측할 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 이중 단계 파이프라인을 사용한다: 먼저 공개 데이터셋 기반 사전 훈련된 모델을 통해 3D 신체 자세 추정을 수행하고, 그 다음 자세 시퀀스의 시간적 모델링을 수행한다.
• 환자를 영상에서 분리하기 위해 인물 추적 기술을 적용하여 임상의사 및 기타 인원을 제거한다.
• 각 프레임에서 3D 관절 좌표(스켈레톤)를 추출하고 이를 시간적 컨volution 신경망(TCNN)의 입력으로 사용한다.
• 새로운 하이브리드 손실 함수는 클래스 불균형을 다루기 위해 포칼 손실과 MDS-UPDRS 점수의 순서적 성격(0에서 4까지)을 유지하기 위해 순서 손실을 결합한다.
• OF-DDNet(하이브리드 순서-포칼 DD-넷)로 명명된 모델은 데이터 증강과 리브-원아웃 교차 검증을 통해 소규모이고 불균형한 임상 데이터셋에서 훈련된다.
• 임상 데이터셋과 공개 데이터셋(예: CASIA) 간의 분포를 일치시키기 위해 정규화된 자세 데이터를 사용하여 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 MDS-UPDRS 보행 검사 영상의 단일 렌즈 영상으로 파킨슨병 환자의 MDS-UPDRS 보행 점수를 정확하게 추정할 수 있는가?
• RQ2 소규모이고 불균형한 임상 데이터셋에서 파킨슨병 운동 중증도 분류 성능 향상에 하이브리드 순서-포칼 손실이 얼마나 효과적인가?
• RQ3 영상에서 추출한 3D 자세 시퀀스는 파킨슨병 보행 중증도에 대한 신뢰할 수 있고 객관적인 생물학적 지표가 될 수 있는가?
• RQ4 제안된 시각 기반 방법은 F1 점수와 균형 잡힌 정확도 측면에서 기준 모델 및 기존 접근 방식과 비교해 어떻게 성능을 내는가?
• RQ5 DD-넷과 같은 단순하고 경량화된 모델이 과적합 없이 임상 영상 데이터에 일반화할 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 OF-DDNet 모델은 F1 점수 0.83과 균형 잡힌 정확도 81%를 달성하여 우연의 경우와 경쟁 모델을 크게 능가한다.
• 하이브리드 순서-포칼 손실은 기존의 교차 엔트로피 손실 및 개별 손실 구성 요소보다 성능을 향상시키며, 특히 드문 클래스인 점수 2와 3에서 두드러진다.
• 모델은 클래스 0(통제군)과 클래스 3(심한 장애)에서 가장 우수한 성능를 보이며, 클래스 1과 2 사이의 구분이 미세한 임상적 차이로 인해 가장 어려운 편이다.
• 데이터 증강과 리브-원아웃 교차 검증은 소규모이고 불균형한 데이터셋에서 과적합 위험을 효과적으로 완화한다.
• 영상에서 추출한 3D 관절 데이터를 사용함으로써 영상 배경이나 환경적 요소에 의존하지 않고도 정확한 분류가 가능하다.
• 이 방법은 자원이 제한되거나 원격에 위치한 임상 환경에서 파킨슨병 진행 상황의 원격 및 확장 가능한 모니터링에 강력한 잠재력을 보여준다.