[論文レビュー] Classifying action correctness in physical rehabilitation exercises

Alina Miron, Crina Groşan|arXiv (Cornell University)|Aug 3, 2021

Human Pose and Action Recognition参考文献 9被引用数 5

ひとこと要約

本稿では、3次元スケルトンデータから物理的リハビリテーション運動の正しさを分類するための機械学習的手法として、時系列畳み込みネットワーク（Res-TCN）を提案する。UI-PRMDデータセットを用いて、関節角を用いた分類では平均71.2%の正確さを達成したが、デュアルスクワットのような対称的運動では83.5%の高い性能を示した一方、非対称的または可変的な運動では62–63%の低い正確さを示した。

ABSTRACT

The work in this paper focuses on the role of machine learning in assessing the correctness of a human motion or action. This task proves to be more challenging than the gesture and action recognition ones. We will demonstrate, through a set of experiments on a recent dataset, that machine learning algorithms can produce good results for certain actions, but can also fall into the trap of classifying an incorrect execution of an action as a correct execution of another action.

研究の動機と目的

• 機械学習が物理的リハビリテーション運動の正しさを効果的に分類できるかどうかを調査すること。
• 生の3次元関節位置と相対的関節角という異なる入力表現の、動作の正しさ分類性能を比較すること。
• 特に高い運動変動性や非対称性を示す場合の、被験者間での一般化性能を評価すること。
• 非対称的または被験者固有の運動パターンに対して、現在のモデルに見られる限界を特定すること。
• 運動品質評価のための、1つの汎用モデルと動作固有の分類器の両方の実現可能性を検討すること。

提案手法

• UI-PRMDデータセットの3次元スケルトンシーケンスを用いて、正しい・誤った運動の二値分類を目的とした、残差時系列畳み込みネットワーク（Res-TCN）を訓練した。
• 2つの入力モodal：1フレームあたり66次元の生の3次元関節位置と、スケルトンデータから算出した相対的関節角を用いた。
• 被験者単位の訓練／検証／テスト分割を用いた10分割交差検証プロトコルを適用し、被験者間での一般化性能を評価した。
• 最終分類のためのグローバル平均プーリングとソフトマックス層を用い、残差ブロック内ではバッチ正規化とReLU活性化関数を適用した。
• 過学習を防ぐために検証精度を最適化し、テストに使用する最良の性能を示したモデルを選択した。
• 全動作を対象とした1つの汎用モデルと、各動作タイプごとに専用に訓練したモデルを比較した。

実験結果

リサーチクエスチョン

• RQ1 3次元スケルトンデータを用いたディープラーニングモデルは、物理的リハビリテーション運動の正しく・誤った実施を正確に区別できるか？
• RQ2 生の3次元関節位置と比較して、相対的関節角を入力として用いることで、分類正確さが向上するか？
• RQ3 運動の対称性や運動変動性の観点から、モデルの性能が異なる動作種別でどのように変化するか？
• RQ4 1つの汎用モデルは、動作固有のモデルと比較して、多様な被験者や運動パターンにどの程度一般化できるか？
• RQ5 サイドランジやショルダーローテーションのような特定の動作で、性能低下が生じる主な要因は何か？

主な発見

• 相対的関節角を入力とすることで、生の3次元関節位置を用いた場合の62.3%から、平均分類正確さが71.2%に向上した。
• 対称的運動で最も高い正確さが達成された：関節角を用いた場合、デュアルスクワットで83.5%、シットツースタンドで82%の正確さを示した。
• 最も困難な動作はスターリングショルダーエクステンション（62%）と内旋・外旋（63%）であり、運動変動性が高く、被験者固有の実施方法が関与していると示唆された。
• 被験者ごとに分類器の性能に顕著な差が見られた—一部の被験者は100%の正確さを達成したが、他の被験者は僅か50%にとどまり、特定の被験者に対する一般化性能が著しく低いことが示された。
• 全動作を対象とした汎用モデルは、関節角を用いて63.3%の正確さを示したが、専用モデルの平均71.2%と比較して著しく低い性能であった。これは、タスク固有の適応による利点が顕著であることを示している。
• 本研究では、運動実施時の左右非対称性（例：右肢・左肢の使用）が、被験者間での性能の一貫性の欠如に寄与していることが同定された。