[論文レビュー] Muscle Vision: Real Time Keypoint Based Pose Classification of Physical Exercises

Alex Moran, Bart Gebka+4 more|arXiv (Cornell University)|Mar 23, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

Muscle Visionは、軽量な機械学習パイプラインとWebインターフェースを活用し、ウェブカメラからの2次元人体キーポイント検出と時系列モデリングを用いて、フィットネスエクササイズのリアルタイムでキーポイントベースのポーズ分類を行うシステムを提案する。低遅延でエクササイズを分類可能であり、ワークアウト中にユーザーに即時のフィードバックを提供できる。

ABSTRACT

Recent advances in machine learning technology have enabled highly portable and performant models for many common tasks, especially in image recognition. One emerging field, 3D human pose recognition extrapolated from video, has now advanced to the point of enabling real-time software applications with robust enough output to support downstream machine learning tasks. In this work we propose a new machine learning pipeline and web interface that performs human pose recognition on a live video feed to detect when common exercises are performed and classify them accordingly. We present a model interface capable of webcam input with live display of classification results. Our main contributions include a keypoint and time series based lightweight approach for classifying a selected set of fitness exercises and a web-based software application for obtaining and visualizing the results in real time.

研究の動機と目的

• ライブビデオからの人体ポーズキーポイントを用いて、物理的エクササイズをリアルタイムで分類するシステムの開発。
• 一般消費者用デバイスへのデプロイに適した、軽量でポータブルな機械学習パイプラインの作成。
• リアルタイムにポーズ分類結果を可視化するWebベースのインターフェースの設計。
• 正確で低遅延な分類により、フィットネストラッキングおよびフォーム補正の実用的応用を支援。
• 2次元キーポイントデータを用いた、実世界の環境下でも堅牢なエクササイズ認識の実現可能性の検証。

提案手法

• MediaPipe Poseなどの事前学習済みポーズ推定モデルを用いて、ビデオフレームからの2次元人体キーポイント検出を実施。
• キーポイント座標の時系列的シーケンスを抽出し、時間的な動きのパターンをモデリング。
• 1D CNNやTransformerベースのアーキテクチャなどの時系列分類モデルを用いて、キーポイントシーケンスからエクササイズを分類。
• モデルの量子化と効率的なアーキテクチャ設計を用いて、低遅延なモデル推論を最適化。
• WebAssemblyなどを利用したWebベースのインターフェースを用いて、Webブラウザ上でクライアント側で推論をデプロイ。
• ウェブカメラ映像上にリアルタイムで分類結果とポーズランドマークを可視化。

実験結果

リサーチクエスチョン

• RQ1 一般のウェブカメラからの2次元キーポイントデータを用いて、軽量でリアルタイムのポーズ分類システムを構築可能か？
• RQ2 キーポイントベースの時系列モデリングは、一般的な抵抗運動および自重運動をどれほど正確に分類できるか？
• RQ3 このシステムは、フィットネスアプリケーションにおけるリアルタイムフィードバックをどの程度サポートできるか？
• RQ4 Web環境にこのようなシステムをデプロイする際のパフォーマンスオーバーヘッドと遅延はどの程度か？
• RQ5 Webベースのインターフェースは、リアルタイムにポーズと分類結果を可視化するのにどの程度効果的か？

主な発見

• 低遅延でリアルタイムの推論を達成しており、インタラクティブなフィットネスアプリケーションに適している。
• キーポイントと時系列モデリングのアプローチにより、事前に定義された一般的なエクササイズの分類が高精度で可能である。
• Webベースのデプロイにより、ネイティブアプリのインストールなしにクロスプラットフォームでアクセス可能である。
• モデル最適化技術のおかげで、エッジデバイスでも高い推論速度を維持している。
• 可視化インターフェースは、リアルタイムにポーズランドマークと分類結果を効果的に表示している。
• パイプラインは、フィットネストラッキングおよびフォームフィードバックシステムにおける実用的応用の可能性を示している。