[논문 리뷰] Measuring hand use in the home after cervical spinal cord injury using egocentric video

Andrea Bandini, Mehdy Dousty외 4명|arXiv (Cornell University)|2022. 03. 31.

Spinal Cord Injury Research참고 문헌 43인용 수 17

한 줄 요약

이 연구는 실생활 가정 환경에서 테트라플레기아 환자의 손 사용을 자동으로 측정하기 위해 딥러닝을 활용한 착용형 에고세트릭 비디오 시스템을 개발하고 검증하였다. 자동으로 추출된 지표인 상호작용 시간 비율(Perc)과 시간당 상호작용 수(Num)가 임상적 손 기능 평가 및 독립성 평가와 유의미하게 상관관계가 있음을 입증하여, 실생활 환경에서의 성능 기반 결과 측정 도구로서의 타당성을 확립하였다.

ABSTRACT

Background: Egocentric video has recently emerged as a potential solution for monitoring hand function in individuals living with tetraplegia in the community, especially for its ability to detect functional use in the home environment. Objective: To develop and validate a wearable vision-based system for measuring hand use in the home among individuals living with tetraplegia. Methods: Several deep learning algorithms for detecting functional hand-object interactions were developed and compared. The most accurate algorithm was used to extract measures of hand function from 65 hours of unscripted video recorded at home by 20 participants with tetraplegia. These measures were: the percentage of interaction time over total recording time (Perc); the average duration of individual interactions (Dur); the number of interactions per hour (Num). To demonstrate the clinical validity of the technology, egocentric measures were correlated with validated clinical assessments of hand function and independence (Graded Redefined Assessment of Strength, Sensibility and Prehension - GRASSP, Upper Extremity Motor Score - UEMS, and Spinal Cord Independent Measure - SCIM). Results: Hand-object interactions were automatically detected with a median F1-score of 0.80 (0.67-0.87). Our results demonstrated that higher UEMS and better prehension were related to greater time spent interacting, whereas higher SCIM and better hand sensation resulted in a higher number of interactions performed during the egocentric video recordings. Conclusions: For the first time, measures of hand function automatically estimated in an unconstrained environment in individuals with tetraplegia have been validated against internationally accepted measures of hand function. Future work will necessitate a formal evaluation of the reliability and responsiveness of the egocentric-based performance measures for hand use.

연구 동기 및 목표

• 테트라플레기아 환자의 자연스러운 가정 환경에서 손 기능을 측정하기 위한 착용형 시각 기반 시스템을 개발하기 위해.
• 에고세트릭 비디오에서 기능적 손-물체 상호작용을 탐지하기 위한 가장 정확한 딥러닝 알고리즘을 비교하고 선택하기 위해.
• 자동으로 추출된 에고세트릭 손 사용 지표(Perc, Dur, Num)를 기존에 검증된 임상 평가(GRASSP, UEMS, SCIM)와 비교하여 검증하기 위해.
• 시각 기반 지표가 임상적 능력 측정을 초월하여 실생활에서 상부 추동기능의 성능을 캡처하는 데 있어 임상적 타당성을 확립하기 위해.

제안 방법

• 테트라플레기아 환자 20명의 일상적인 가정 활동 중 비구술적 상황에서의 에고세트릭 비디오 기록을 활용하였다.
• 손-물체 상호작용 탐지에 적합한 다양한 딥러닝 모델을 평가하여 F1-스코어 기반으로 최고 성능을 보인 모델을 선정하였다.
• 세 가지 핵심 손 기능 지표를 추출: Perc(상호작용 시간 비율), Dur(평균 상호작용 지속 시간), Num(시간당 상호작용 수).
• 에고세트릭 지표를 임상 평가와 상관 분석: GRASSP(把持), UEMS(운동 기능), SCIM(독립성).
• 손 위치 추적 및 상호작용 탐지 기능을 핵심 구성 요소로 하는 모듈러 비디오 처리 파이프라인을 적용하였다.
• 컴퓨터 비전 기법을 활용해 손-물체 접촉 상태를 기반으로 기능적 손 사용을 추론하였으며, 향후 그립 인식 및 동작 탐지 기능 확장 계획이 수립되어 있다.

실험 결과

연구 질문

• RQ1 딥러닝은 테트라플레기아 환자가 가정 환경에서 기록한 에고세트릭 비디오에서 기능적 손-물체 상호작용을 정확하게 탐지할 수 있는가?
• RQ2 자동으로 추출된 에고세트릭 지표(Perc, Dur, Num)는 검증된 임상적 손 기능 및 독립성 평가와 상관관계가 있는가?
• RQ3 어떤 임상적 요인(예: 운동 기능, 감각, 抓握)이 특정 에고세트릭 손 사용 지표와 가장 강하게 연관되어 있는가?
• RQ4 에고세트릭 비디오 기반 지표는 실생활 환경에서 상부 추동기능의 유효하고 성능 기반의 결과 측정 도구로 활용될 수 있는가?

주요 결과

• 가장 정확한 딥러닝 모델은 손-물체 상호작용 탐지에서 중앙값 F1-스코어 0.80(IQR: 0.67–0.87)을 기록하였다.
• UEMS 점수가 높을수록 Perc가 유의미하게 높게 상관관계가 있었으며(r = 0.55, p = 0.01), 이는 더 나은 운동 기능이 더 오랜 상호작용 시간을 의미함을 시사한다.
• 더 나은 GR-PP(把持)는 Perc와 양의 상관관계가 있었으며(r = 0.48, p = 0.03), 이는 더 나은 그립 품질이 상호작용 시간을 늘림을 보여준다.
• SCIM 점수가 높고 손 감각이 양호한 경우 시간당 상호작용 수(Num)가 더 많았으며, 이는 향상된 독립성과 감각 기능이 더 자주 손 사용을 유도함을 시사한다.
• 본 연구는 테트라플레기아 환자에서 국제적으로 인정받는 임상 평가와 비교하여 에고세트릭 시각 기반 손 사용 지표의 타당성을 처음으로 검증하였다.
• 모듈러 처리 파이프라인은 향후 그립 인식 및 동작 탐지 기능 통합을 통해 손 사용의 양과 질을 동시에 평가할 수 있도록 지원한다.