[논문 리뷰] Hand tracking for clinical applications: validation of the Google MediaPipe Hand (GMH) and the depth-enhanced GMH-D frameworks

Gianluca Amprimo, Giulia Masi외 4명|arXiv (Cornell University)|2023. 08. 02.

Stroke Rehabilitation and RecoveryMedicine인용 수 3

한 줄 요약

이 연구는 RGB-깊이 카메라를 사용한 임상적 손 추적을 위해 Google MediaPipe Hand(GMH) 및 그 깊이 향상 버전인 GMH-D를 검증한다. 동적 작업 중 3D 손 움직임 측정에서 GMH-D는 공간 정확도가 뛰어나 GMH를 능가하며, 황금 표준 운동 캡처 시스템과 뛰어난 시간적 및 주파수 일致성을 보이며 임상적 손 기능 평가에 신뢰할 수 있는 도구로 활용 가능하다.

ABSTRACT

Accurate 3D tracking of hand and fingers movements poses significant challenges in computer vision. The potential applications span across multiple domains, including human-computer interaction, virtual reality, industry, and medicine. While gesture recognition has achieved remarkable accuracy, quantifying fine movements remains a hurdle, particularly in clinical applications where the assessment of hand dysfunctions and rehabilitation training outcomes necessitate precise measurements. Several novel and lightweight frameworks based on Deep Learning have emerged to address this issue; however, their performance in accurately and reliably measuring fingers movements requires validation against well-established gold standard systems. In this paper, the aim is to validate the handtracking framework implemented by Google MediaPipe Hand (GMH) and an innovative enhanced version, GMH-D, that exploits the depth estimation of an RGB-Depth camera to achieve more accurate tracking of 3D movements. Three dynamic exercises commonly administered by clinicians to assess hand dysfunctions, namely Hand Opening-Closing, Single Finger Tapping and Multiple Finger Tapping are considered. Results demonstrate high temporal and spectral consistency of both frameworks with the gold standard. However, the enhanced GMH-D framework exhibits superior accuracy in spatial measurements compared to the baseline GMH, for both slow and fast movements. Overall, our study contributes to the advancement of hand tracking technology, the establishment of a validation procedure as a good-practice to prove efficacy of deep-learning-based hand-tracking, and proves the effectiveness of GMH-D as a reliable framework for assessing 3D hand movements in clinical applications.

연구 동기 및 목표

• 임상 환경에서 3D 손 추적을 위한 Google MediaPipe Hand(GMH) 프레임워크의 정확도를 검증하는 것.
• RGB-깊이 카메라에서의 깊이 추정을 통합하여 공간 정확도를 향상시킨 개선된 버전인 GMH-D의 성능을 평가하는 것.
• 임상적으로 관련성이 있는 손 움직임 작업 동안 황금 표준 운동 캡처 시스템과 함께 두 프레임워크의 성능을 평가하는 것.
• 딥 러닝 기반 손 추적을 임상 적용에 활용할 때의 최선의 실천 방법으로서의 검증 절차를 수립하는 것.

제안 방법

• 이 연구는 RGB-깊이 카메라에서의 깊이 데이터 융합을 통해 2D 손 관절 검출을 위한 경량 딥 러닝 모델인 GMH 프레임워크를 확장하여 GMH-D로 구현한다.
• GMH-D 프레임워크는 RGB 이미지 특징과 깊이 맵 특징을 결합하기 위해 다중 스트림 아키텍처를 사용하여 3D 관절 검출 정확도를 향상시킨다.
• 참가자들이 수행한 세 가지 동적 손 운동 — 손 벌리기-닫기, 한 손가락 타이핑, 여러 손가락 타이핑 — 은 GMH/GMH-D 시스템과 황금 표준 운동 캡처 시스템을 동시에 기록하였다.
• 시간적 및 주파수 일치성은 상호상관관계 및 스펙트럼 공명 분석을 통해 평가되었다.
• 공간 정확도는 예측된 3D 관절 위치와 참값 간의 평균 제곱근 오차(RMSE)를 통해 정량화되었다.
• 반복 시험을 통해 다양한 운동 속도에서의 성능을 평가하여 빠른 및 느린 운동에 대한 내구성을 검증하였다.

실험 결과

연구 질문

• RQ1 임상 작업에서 황금 표준 운동 캡처 시스템과 비교해 GMH 프레임워크의 3D 손 움직임 추적 정확도는 어떠한가?
• RQ2 GMH-D에서 깊이 데이터 통합이 기준선인 GMH 프레임워크에 비해 공간 정확도를 얼마나 향상시키는가?
• RQ3 GMH 및 GMH-D의 출력이 황금 표준과 비교해 시간적 및 주파수 특성 측면에서 얼마나 일관된가?
• RQ4 GMH-D의 성능은 느린 및 빠른 손 움직임 속도 모두에서 안정적인가?

주요 결과

• GMH-D는 모든 테스트 운동에서 GMH보다 유의미하게 향상된 공간 정확도를 보였으며, 3D 관절 위치 추정의 평균 제곱근 오차(RMSE)가 낮았다.
• GMH 및 GMH-D 모두 높은 시간 일치성을 보였으며, 모든 작업에서 상호상관관계 계수가 0.95를 초과하였다.
• 스펙트럼 공명 분석 결과, 두 프레임워크 모두 임상 평가에 관련된 주파수 범위에서 손 움직임의 주파수 성분을 높은 정밀도로 유지하였다.
• 느린 및 빠른 운동 모두에서 GMH-D는 GMH를 능가하는 공간 정확도를 보였으며, 이는 다양한 운동 속도에서의 내구성을 시사한다.
• 이 연구는 임상 환경에서 딥 러닝 기반 손 추적 시스템에 대한 재현 가능한 검증 파이프라인을 수립하였다.