[논문 리뷰] Real-time Recognition of Yoga Poses using computer Vision for Smart Health Care

Abhishek Sharma, Yash Shah외 2명|arXiv (Cornell University)|2022. 01. 19.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 뼈대 특징 추출과 각도 기반 관절 분석을 사용하여 정확한 요가 자세 및 손 머드라 인식을 위한 실시간 컴퓨터 비전 시스템을 제시한다. 10개의 요가 자세와 5개의 머드라를 포함하는 자체 제작된 YOGI 데이터셋을 사용하여, XGBoost와 랜덤 서치 CV를 활용해 99.2%의 정확도를 달성하였으며, 스마트 헬스케어 애플리케이션을 위한 실시간 피드백을 가능하게 한다.

ABSTRACT

Nowadays, yoga has become a part of life for many people. Exercises and sports technological assistance is implemented in yoga pose identification. In this work, a self-assistance based yoga posture identification technique is developed, which helps users to perform Yoga with the correction feature in Real-time. The work also presents Yoga-hand mudra (hand gestures) identification. The YOGI dataset has been developed which include 10 Yoga postures with around 400-900 images of each pose and also contain 5 mudras for identification of mudras postures. It contains around 500 images of each mudra. The feature has been extracted by making a skeleton on the body for yoga poses and hand for mudra poses. Two different algorithms have been used for creating a skeleton one for yoga poses and the second for hand mudras. Angles of the joints have been extracted as a features for different machine learning and deep learning models. among all the models XGBoost with RandomSearch CV is most accurate and gives 99.2\% accuracy. The complete design framework is described in the present paper.

연구 동기 및 목표

• 스마트 헬스케어를 위한 실시간 자가 보조 요가 자세 인식 시스템을 개발하기 위해 컴퓨터 비전을 활용한다.
• 학습 및 평가를 위한 새로운 종합적인 데이터셋(YOGI)을 구축한다. 이 데이터셋은 10개의 요가 자세와 5개의 손 머드라를 포함한다.
• 자세 및 머드라 분류를 위한 특징으로 뼈대 특징과 관절 각도를 추출한다.
• 최적의 정확도와 실시간 성능를 확보하기 위해 다양한 머신 러닝 및 딥 러닝 모델을 비교한다.
• 홈에서 요가를 연습하는 사용자에게 실시간 교정 피드백을 제공할 수 있도록 한다.

제안 방법

• 각 요가 자세당 400~900장의 이미지와 각 머드라당 500장의 이미지를 포함하는 자체 제작된 YOGI 데이터셋을 구축하였다.
• 전신 요가 자세와 손 동작을 별도로 처리하기 위해 전용 뼈대화 알고리즘을 사용하여 뼈대 표현을 생성하였다.
• 자세 및 머드라 인식을 위한 핵심 특징으로 뼈대 구조에서 관절 각도를 추출하였다.
• XGBoost와 랜덤 서치 CV를 포함한 여러 모델을 추출된 특징에 대해 훈련 및 평가하였다.
• 최적화된 특징 추출 및 모델 배포 파이프라인을 통해 실시간 추론을 구현하였다.
• 실시간 요가 세션 중 자세의 정확성에 대한 즉각적인 피드백을 제공할 수 있도록 시스템을 설계하였다.

실험 결과

연구 질문

• RQ1 뼈대 및 각도 기반 특징을 사용하여 실시간 컴퓨터 비전 시스템이 10개의 표준 요가 자세를 정확하게 인식할 수 있는가?
• RQ2 자체 제작된 YOGI 데이터셋이 고정확도의 요가 자세 및 머드라 인식을 지원하는 데 얼마나 효과적인가?
• RQ3 시각 입력에서 요가 자세와 머드라를 분류하는 데 있어 어떤 머신 러닝 모델이 가장 높은 정확도를 달성하는가?
• RQ4 뼈대 표현에서 추출한 관절 각도 특징이 원본 이미지 기반 특징보다 자세 인식에서 더 우수한 성능을 보이는가?
• RQ5 이러한 시스템을 스마트 헬스케어 분야에서 실시간 자가 안내 요가 연습에 구현하는 데 실현 가능한가?

주요 결과

• XGBoost 모델과 랜덤 서치 CV를 사용하여 YOGI 데이터셋에서 요가 자세 인식에 대해 99.2%의 최고 정확도를 달성하였다.
• 10개의 요가 자세와 5개의 머드라를 포함하는 YOGI 데이터셋은 강력한 모델 훈련을 위한 충분한 다양성과 규모를 제공하였다.
• 뼈대 표현에서 추출한 관절 각도 특징은 분류 작업에 매우 효과적인 것으로 입증되었다.
• 시스템은 요가 연습 중 실시간 피드백을 제공하기에 적합한 실시간 성능를 보였다.
• 전신 자세와 손 동작에 대해 별도의 뼈대화 알고리즘을 사용함으로써 특징 추출 정확도가 향상되었다.
• 모든 평가된 모델 중에서 XGBoost가 정확도와 추론 속도 모두에서 딥 러닝 기반 모델들을 능가하였다.