[論文レビュー] Pose Trainer: Correcting Exercise Posture using Pose Estimation

Steven Chen, Richard R. Yang|arXiv (Cornell University)|Jun 21, 2020

Human Pose and Action Recognition参考文献 9被引用数 52

ひとこと要約

Pose TrainerはOpenPoseを介して運動姿勢を検出し、幾何的ヒューリスティクスとDTWベースの機械学習アプローチを用いた個別化のフォームフィードバックを提供します。記録データセットを用いて4種類のダンベル運動で評価しました。

ABSTRACT

Fitness exercises are very beneficial to personal health and fitness; however, they can also be ineffective and potentially dangerous if performed incorrectly by the user. Exercise mistakes are made when the user does not use the proper form, or pose. In our work, we introduce Pose Trainer, an application that detects the user's exercise pose and provides personalized, detailed recommendations on how the user can improve their form. Pose Trainer uses the state of the art in pose estimation to detect a user's pose, then evaluates the vector geometry of the pose through an exercise to provide useful feedback. We record a dataset of over 100 exercise videos of correct and incorrect form, based on personal training guidelines, and build geometric-heuristic and machine learning algorithms for evaluation. Pose Trainer works on four common exercises and supports any Windows or Linux computer with a GPU.

研究の動機と目的

• 自動の姿勢分析を通じて適切な運動姿勢を保証し、怪我のリスクを低減する。
• 最先端の姿勢推定を活用してビデオから骨格のキーポイントを抽出する。
• ヒューリスティック法と機械学習法の両方を開発して、フォームを評価しフィードバックを提供する。
• 運動ビデオを処理し、ターゲットを絞った指導を出力するデスクトップアプリケーションのワークフローを作成する。

提案手法

• 18関節のリアルタイム2Dキーポイント検出を入力特徴としてOpenPoseを使用する。
• 個人の体型差を補正するために胴体の長さでポーズを正規化する。
• どの四肢が運動を行っているかを識別するために視点検出を適用する。
• 関節角度と四肢ベクトルに基づく幾何ヒューリスティクスでフォームを評価する。
• ラベル付きビデオでDTWベースの最近傍分類器を訓練してフォームを分類する。
• 閾値を用いた幾何指標とDTW結果に基づく具体的なテキストベースのフィードバックを提供する。

実験結果

リサーチクエスチョン

• RQ1 OpenPoseベースの姿勢推定は自動フィードバックを運動フォームに信頼性高く提供できるか？
• RQ2 幾何ヒューリスティック評価は正しいフォームと誤ったフォームの検出においてDTWベースの機械学習アプローチとどう比較されるか？
• RQ3 Pose Trainerが異なる一般的な運動に対して適切な技術と不適切な技術を識別する有効性はどれくらいか？

主な発見

運動種目	クラス	適合率	再現率	F1スコア	例
Bicep Curl	Correct	0.80	1.00	0.89	4
Bicep Curl	Incorrect	1.00	0.67	0.80	3
Bicep Curl	Avg/Total	0.89	0.86	0.85	7
Front Raise	Correct	1.00	1.00	1.00	6
Front Raise	Incorrect	1.00	1.00	1.00	6
Front Raise	Avg/Total	1.00	1.00	1.00	12
Shoulder Shrug	Correct	1.00	0.75	0.86	8
Shoulder Shrug	Incorrect	0.71	1.00	0.83	5
Shoulder Shrug	Avg/Total	0.89	0.85	0.85	13
Shoulder Press	Correct	0.67	0.86	0.75	7
Shoulder Press	Incorrect	0.83	0.62	0.71	8
Shoulder Press	Avg/Total	0.76	0.73	0.73	15

• DTWベースの分類器は二頭筋カールデータセットでF1スコア0.85を達成。
• フロントレイズのDTW分類器はF1スコア1.00を達成。
• ショルダーシュラグのDTW分類器はF1スコア0.85。
• ショルダープレスのDTW分類器はF1スコア0.73。