[論文レビュー] Real-time Recognition of Yoga Poses using computer Vision for Smart Health Care

Abhishek Sharma, Yash Shah+2 more|arXiv (Cornell University)|Jan 19, 2022

Human Pose and Action Recognition被引用数 6

ひとこと要約

本論文では、スケルタル特徴抽出と角度に基づく関節分析を用いて、正確なヨガポーズおよび手の印（ムドラ）認識を実現するリアルタイムコンピュータビジョンシステムを提示する。10種類のヨガポーズと5種類のムドラを含む独自のYOGIデータセットを用い、XGBoostとランダムサーチCVを用いて99.2％の正確性を達成し、スマートヘルスケアアプリケーション向けのリアルタイムフィードバックを可能にした。

ABSTRACT

Nowadays, yoga has become a part of life for many people. Exercises and sports technological assistance is implemented in yoga pose identification. In this work, a self-assistance based yoga posture identification technique is developed, which helps users to perform Yoga with the correction feature in Real-time. The work also presents Yoga-hand mudra (hand gestures) identification. The YOGI dataset has been developed which include 10 Yoga postures with around 400-900 images of each pose and also contain 5 mudras for identification of mudras postures. It contains around 500 images of each mudra. The feature has been extracted by making a skeleton on the body for yoga poses and hand for mudra poses. Two different algorithms have been used for creating a skeleton one for yoga poses and the second for hand mudras. Angles of the joints have been extracted as a features for different machine learning and deep learning models. among all the models XGBoost with RandomSearch CV is most accurate and gives 99.2\% accuracy. The complete design framework is described in the present paper.

研究の動機と目的

• スマートヘルスケア向けに、コンピュータビジョンを用いたリアルタイムで自己支援可能なヨガポーズ認識システムの開発。
• トレーニングおよび評価のための、10種類のヨガポーズと5種類の手の印（ムドラ）を含む新しい包括的データセット（YOGI）の作成。
• ポーズおよびムドラ分類のための判別的入力として、スケルタル特徴および関節角度の抽出。
• 最適な正確性とリアルタイム性能を達成するための複数の機械学習およびディープラーニングモデルの比較。
• 自宅でヨガを実践するユーザーに対して、リアルタイムでの矯正フィードバックを可能にする。

提案手法

• 10種類のヨガポーズあたり400～900枚、1種類のムドラあたり500枚の画像を含む、独自のYOGIデータセットを構築。
• 全身ヨガポーズおよび手の動きの両方に対して、専用のスケルトン化アルゴリズムを別々に用いてスケルタル表現を生成。
• 全身ヨガポーズおよび手のムドラ認識の両方において、スケルタル構造から関節角度を主要特徴として抽出。
• XGBoostとランダムサーチCVを含む複数のモデルを、抽出された特徴量上でトレーニングおよび評価。
• 最適化された特徴抽出およびモデルデプロイメントパイプラインにより、リアルタイム推論を実現。
• ライブヨガセッション中にポーズの正確性に関する即時フィードバックを提供できるようにシステムを設計。

実験結果

リサーチクエスチョン

• RQ1 スケルタルおよび角度特徴を用いたリアルタイムコンピュータビジョンシステムは、10種類の標準ヨガポーズを正確に認識できるか？
• RQ2 独自のYOGIデータセットは、高精度なヨガポーズおよびムドラ認識を支援するのにどの程度有効か？
• RQ3 視覚入力からヨガポーズおよびムドラを分類する際、どの機械学習モデルが最高の正確性を達成するか？
• RQ4 スケルタル表現から抽出された関節角度特徴は、生の画像ベース特徴よりも優れているか？
• RQ5 このようなシステムを、スマートヘルスケア分野におけるリアルタイムで自己指導可能なヨガ実践に実装可能か？

主な発見

• XGBoostモデルにランダムサーチCVを適用した結果、YOGIデータセットにおけるヨガポーズ認識で99.2％の最高正確性を達成。
• 10種類のヨガポーズと5種類のムドラを含むYOGIデータセットは、モデルの強固なトレーニングに十分な多様性と規模を提供した。
• スケルタル表現から抽出された関節角度特徴は、分類タスクにおいて非常に効果的であった。
• システムは、ヨガ実践中のライブフィードバックに適したリアルタイム性能を示した。
• 全身ポーズと手の動きの両方に対して別々のスケルトン化アルゴリズムを用いることで、特徴抽出の正確性が向上した。
• 全評価モデルの中で、XGBoostは正確性および推論速度の両面でディープラーニングベースラインを上回った。