[논문 리뷰] Rapid-Motion-Track: Markerless Tracking of Fast Human Motion with Deeper Learning

Renjie Li, Chun Yu Lao외 6명|arXiv (Cornell University)|2023. 01. 18.

Stroke Rehabilitation and RecoveryMedicine인용 수 3

한 줄 요약

Rapid-Motion-Track (RMT)는 표준 30fps 노트북 웹캠을 사용하여 8Hz까지의 빠른 속도로 움직이는 인간의 운동(예: 손가락 타이핑)을 정확하고 마커리스로 추적할 수 있는 새로운 엔드 투 엔드 딥러닝 시스템이다. 다중 스케일 특징 융합 네트워크(P-MSDSNet)와 적응형 버텍스 인식 알고리즘을 활용하여 RMT는 황금 표준 웨어러블 센서 데이터와 ±0.5Hz 이내의 운동 특징을 97.3%로 확보하였으며, 이는 DeepLabCut(±0.5Hz 이내 88.2%)에 비해 뚜렷한 성능 향상을 보였다.

ABSTRACT

Objective The coordination of human movement directly reflects function of the central nervous system. Small deficits in movement are often the first sign of an underlying neurological problem. The objective of this research is to develop a new end-to-end, deep learning-based system, Rapid-Motion-Track (RMT) that can track the fastest human movement accurately when webcams or laptop cameras are used. Materials and Methods We applied RMT to finger tapping, a well-validated test of motor control that is one of the most challenging human motions to track with computer vision due to the small keypoints of digits and the high velocities that are generated. We recorded 160 finger tapping assessments simultaneously with a standard 2D laptop camera (30 frames/sec) and a high-speed wearable sensor-based 3D motion tracking system (250 frames/sec). RMT and a range of DLC models were applied to the video data with tapping frequencies up to 8Hz to extract movement features. Results The movement features (e.g. speed, rhythm, variance) identified with the new RMT system exhibited very high concurrent validity with the gold-standard measurements (97.3\% of RMT measures were within +/-0.5Hz of the Optotrak measures), and outperformed DLC and other advanced computer vision tools (around 88.2\% of DLC measures were within +/-0.5Hz of the Optotrak measures). RMT also accurately tracked a range of other rapid human movements such as foot tapping, head turning and sit-to -stand movements. Conclusion: With the ubiquity of video technology in smart devices, the RMT method holds potential to transform access and accuracy of human movement assessment.

연구 동기 및 목표

• 표준 저프레임레트 웹캠을 사용하여 4Hz 이상의 빠른 인간 운동(예: 손가락 타이핑)을 정확히 추적할 수 있는 컴퓨터 비전 시스템을 개발한다.
• 고속 운동 중에 발생하는 운동 블러로 인해 기존 딥러닝 모델(예: DeepLabCut)이 실패하는 문제를 해결한다.
• 보편적인 웹캠 기술을 활용하여 원격, 확장 가능하고 객관적인 모터 기능 평가를 텔레메디슨 및 대상 인구 스크리닝에 적용한다.
• 단지 관절점 좌표를 출력하는 것이 아니라 검증된 모터 기능(예: 속도, 리듬, 분산)을 직접 출력함으로써 임상 및 연구 활용도를 향상시킨다.
• 손가락 타이핑을 넘어서 발가락 타이핑, 머리 돌리기, 앉기에서 일어나기 전환과 같은 다른 빠른 운동으로의 적용 가능성을 확장한다.

제안 방법

• 동일 및 다른 깊이 수준에서 다중 스케일 특징을 병렬로 융합하는 새로운 딥러닝 아키텍처인 P-MSDSNet을 제안하여 블러된 프레임에서도 관절점 검출 성능을 향상시킨다.
• 노이즈와 부드럽지 않은 곡선에도 불구하고 거리-시간 곡선의 피크와 트로프를 정확히 식별할 수 있도록 적응형 버텍스 인식 알고리즘을 구현하여 강력한 특징 추출을 가능하게 한다.
• 표준 30fps 노트북 웹캠의 동기화 영상과 고속 250fps 웨어러블 Optotrak 센서 데이터를 사용하여 RMT 시스템을 엔드 투 엔드로 훈련 및 검증한다.
• 이중 입력 파이프라인 설계: 하나는 P-MSDSNet을 통한 손끝 관절점 검출, 다른 하나는 얻어진 시계열 데이터에 대한 적응형 버텍스 검출을 통한 특징 추출.
• 황금 표준 웨어러블 센서 데이터와 동시 검증을 통해 RMT의 성능을 최신 기술 모델(예: ResNet50 및 MobileNet 기반 DeepLabCut 변종)과 비교한다.
• 원시 관절점 좌표 외에도 검증된 모터 기능을 직접 출력하도록 시스템을 설계하여 임상 및 연구 응용 분야에서의 사용성 향상.

실험 결과

연구 질문

• RQ1 딥러닝 기반 시스템은 표준 30fps 웹캠을 사용하여 4Hz 이상의 빠른 인간 운동(예: 손가락 타이핑)을 정확하게 마커리스로 추적할 수 있는가?
• RQ2 운동 블러와 고속도 조건에서 RMT의 손끝 운동 추적 성능은 DeepLabCut과 같은 최신 기술 모델에 비해 어떻게 비교되는가?
• RQ3 고속 카메라나 웨어러블 센서 없이도 RMT는 저프레임레트 영상에서 유효하고 신뢰할 수 있는 모터 기능(예: 속도, 리듬, 분산)을 얼마나 잘 추출할 수 있는가?
• RQ4 RMT는 동일한 아키텍처를 사용하여 발가락 타이핑, 머리 돌리기, 앉기에서 일어나기 전환과 같은 다른 빠른 인간 운동으로 일반화될 수 있는가?
• RQ5 RMT가 직접 검증된 운동 특징을 출력함으로써 관절점 좌표만 제공하는 시스템에 비해 임상적 유용성이 향상되는가?

주요 결과

• RMT는 황금 표준 Optotrak 웨어러블 센서 시스템과 ±0.5Hz 이내의 운동 특징을 97.3%로 확보하여 거의 완벽한 동시 타당성을 입증하였다.
• 반면, DeepLabCut 모델(ResNet50 및 MobileNet 변종 포함)은 Optotrak 기준 ±0.5Hz 이내 측정치 비율이 88.2%에 그쳐 고속 조건에서 뚜렷한 성능 격차를 보였다.
• RMT는 운동 블러로 인해 기존 컴퓨터 비전 모델(예: DLC)이 무력화되는 조건에서도 손가락 타이핑 주파수 최대 8Hz까지 성공적으로 추적하였다.
• P-MSDSNet 아키텍처는 깊이 수준 간의 다중 스케일 특징 융합을 통해 운동 블러를 효과적으로 완화하여 저품질 프레임에서도 더 안정적이고 정확한 손끝 추적을 가능하게 하였다.
• 적응형 버텍스 인식 알고리즘은 노이즈 또는 비부드러운 궤적에도 불구하고 거리-시간 곡선의 피크와 트로프를 강력하게 탐지하여 정확한 특징 추출을 보장하였다.
• RMT는 시각적 및 정량적 분석을 통해 보조 자료에서 확인한 바와 같이 머리 돌리기, 발끝 타이핑, 다리 민첩성, 앉기에서 일어나기 전환 등 다른 빠른 운동으로도 효과적으로 일반화되었다.