[논문 리뷰] Muscle Vision: Real Time Keypoint Based Pose Classification of Physical Exercises

Alex Moran, Bart Gebka외 4명|arXiv (Cornell University)|2022. 03. 23.

Human Pose and Action Recognition인용 수 4

한 줄 요약

Muscle Vision는 웹캠 영상에서 2D 인간 관절점 검출과 시간적 시계열 모델링을 활용하여 실시간으로 허브 운동을 키포인트 기반으로 분류하는 시스템을 제안한다. 경량화된 머신러닝 파이프라인과 웹 인터페이스를 통해 낮은 지연 시간으로 운동을 분류함으로써 사용자가 운동 중 실시간 피드백을 받을 수 있도록 한다.

ABSTRACT

Recent advances in machine learning technology have enabled highly portable and performant models for many common tasks, especially in image recognition. One emerging field, 3D human pose recognition extrapolated from video, has now advanced to the point of enabling real-time software applications with robust enough output to support downstream machine learning tasks. In this work we propose a new machine learning pipeline and web interface that performs human pose recognition on a live video feed to detect when common exercises are performed and classify them accordingly. We present a model interface capable of webcam input with live display of classification results. Our main contributions include a keypoint and time series based lightweight approach for classifying a selected set of fitness exercises and a web-based software application for obtaining and visualizing the results in real time.

연구 동기 및 목표

• 실시간으로 웹캠 영상에서 인간 자세 키포인트를 이용해 신체 운동을 분류하는 시스템을 개발한다.
• 소비자용 기기에서 배포 가능한 가벼운 이식성 있는 머신러닝 파이프라인을 구축한다.
• 실시간으로 자세 분류 결과를 시각화하는 웹 기반 인터페이스를 설계한다.
• 정확하고 낮은 지연 시간의 분류를 통해 피트니스 트래킹 및 자세 교정 응용을 지원한다.
• 실생활 환경에서 2D 키포인트 데이터를 활용한 강력한 운동 인식의 가능성을 입증한다.

제안 방법

• MediaPipe Pose와 같은 사전 학습된 자세 추정 모델을 사용하여 영상 프레임에서 2D 인간 키포인트 검출을 수행한다.
• 관절점 좌표의 시간적 시퀀스를 추출하여 운동 패턴을 시간에 따라 모델링한다.
• 1D CNN 또는 Transformer 기반 아키텍처와 같은 시계열 분류 모델을 적용하여 키포인트 시퀀스에서 운동을 분류한다.
• 모델 정량화와 효율적인 아키텍처 설계를 통해 추론을 최적화하여 낮은 지연 시간을 확보한다.
• WebAssembly 또는 유사 기술을 사용하여 웹 브라우저에서 클라이언트 측 추론이 가능한 웹 기반 인터페이스로 시스템을 배포한다.
• 웹캠 피드에 실시간으로 분류 결과와 자세 랜드마크를 시각화한다.

실험 결과

연구 질문

• RQ1 소비자용 웹캠에서 얻은 2D 키포인트 데이터를 활용해 경량이고 실시간으로 작동하는 자세 분류 시스템을 구축할 수 있는가?
• RQ2 키포인트 기반의 시계열 모델링은 일반적인 저항 운동 및 체중 운동을 얼마나 정확하게 분류할 수 있는가?
• RQ3 이 시스템은 피트니스 응용 분야에서 실시간 피드백을 얼마나 잘 지원하는가?
• RQ4 웹 환경에서 이러한 시스템을 배포할 경우 성능 오버헤드와 지연 시간은 어느 정도인가?
• RQ5 웹 기반 인터페이스는 실시간으로 자세와 분류 결과를 얼마나 효과적으로 시각화하는가?

주요 결과

• 낮은 지연 시간으로 실시간 추론을 달성하여 상호작용이 가능한 피트니스 응용에 적합하다.
• 키포인트와 시계열 모델링 방식이 사전 정의된 일반 운동 집합에 대해 정확한 분류를 가능하게 한다.
• 웹 기반 배포 방식을 통해 네이티브 앱 설치 없이도 크로스 플랫폼 접근성이 확보된다.
• 모델 최적화 기법 덕분에 엣지 디바이스에서도 높은 추론 속도를 유지한다.
• 시각화 인터페이스는 실시간으로 자세 랜드마크와 분류 결과를 효과적으로 표시한다.
• 피트니스 트래킹 및 자세 피드백 시스템에 실용적인 응용 가능성을 입증한다.