[論文レビュー] A Comprehensive Review of Skeleton-based Movement Assessment Methods

Tal Hakim|arXiv (Cornell University)|Jan 1, 2020

Human Pose and Action Recognition参考文献 38被引用数 2

ひとこと要約

本稿は、骨格ベースの運動評価手法について包括的なレビューを提示し、主に2つのタイプに分類する：繰り返し運動（例：歩行）における異常検出、および構造化された運動（例：Fugl-MeyerスケールやBergバランススケール）の質のスコアリング。主な構成要素として、骨格検出、幾何的正規化、時間的整合化、特徴抽出、スコア予測、フィードバック生成を分析し、多数の手法が手作業による特徴抽出と類似性ベースのスコアリングに依存しており、フィードバック生成は限定的で、標準化されたデータセットや評価指標が不足していることを強調している。

ABSTRACT

The raising availability of 3D cameras and dramatic improvement of computer vision algorithms in the recent decade, accelerated the research of automatic movement assessment solutions. Such solutions can be implemented at home, using affordable equipment and dedicated software. In this paper, we divide the movement assessment task into secondary tasks and explain why they are needed and how they can be addressed. We review the recent solutions for automatic movement assessment from skeleton videos, comparing them by their objectives, features, movement domains and algorithmic approaches. In addition, we discuss the status of the research on this topic in a high level.

研究の動機と目的

• 骨格ベースの運動評価に関する既存のアプローチを、主に2つのタスクに分類・分析すること：繰り返し運動における異常検出（例：歩行）と構造化された運動の質のスコアリング（例：FMA、BBS）。
• 運動評価パイプラインにおける基本的なサブタスク（骨格検出、幾何的正規化、時間的整合化、特徴抽出、スコア予測、フィードバック生成）を特定・説明すること。
• 既存の研究の現状を評価するため、特徴、目的、アルゴリズム的手法をレビューし、公開データセットと非公開データセット、評価指標の使用に焦点を当てる。
• データセットや評価指標の標準化が不十分であることが、分野の比較可能性と進展を妨げていることを強調すること。
• フィードバック生成の限界や手作業による特徴抽出への依存といった研究ギャップを特定し、今後の方向性として公開ベンチマークデータセットの整備や、運動タイプにわたる一般化の向上を提案すること。

提案手法

• 運動評価を2つの主要なカテゴリに分類する：(1) 繰り返し運動（例：歩行）における異常検出、(2) 構造化された運動（例：FMA、BBS）の質のスコアリング。
• 目的、特徴（例：数値スコア、質分類、フィードバック）、トレーニングデータの使用（例：正常な運動のみ）に基づいて、既存の研究をレビュー・比較する。
• 評価パイプラインの技術的構成要素を分析する：Kinect や OpenPose を用いた3次元骨格検出、ポーズやスケールの変動に対処するための幾何的正規化、DTW や HMM、RNN を用いた時間的整合化。
• 特徴工学戦略を評価し、手作業による特徴（例：関節角、軌跡）とディープラーニングベースの特徴学習の違いを明らかにし、手作業による特徴の優位性を指摘する。
• スコア予測手法を検討し、回帰よりも正規化された類似性測定を強調する。フィードバック生成手法については、パrameterのずれ分析からのテキストフィードバックを含む。
• フィードバック生成戦略を具体的な研究にマッピングし、時間的ずれを自然言語フィードバックに変換する方法や、角度差による弱いリンクの特定を行う手法を示す。

実験結果

リサーチクエスチョン

• RQ1 骨格ベースの運動評価の主なカテゴリは何であり、それらの目的と課題はどのように異なるか？
• RQ2 骨格検出、時間的整合化、特徴抽出などの技術的構成要素はどれほど一般的に使われており、パフォーマンスや一般化性にどのように影響を与えるか？
• RQ3 既存の手法はどの程度手作業による特徴抽出に依存しており、学習された表現に比べて運動タイプへの適応性にどのような影響を与えるか？
• RQ4 なぜ現在のシステムではフィードバック生成がまれなのか、また実装されている場合の主な手法は何か？
• RQ5 標準化されていないデータセットや評価指標の欠如が、この分野における研究の比較可能性と進展にどのように影響を与えているか？

主な発見

• 多くの運動評価システムは、繰り返し運動（例：歩行）における異常検出または構造化された運動（例：FMA、BBS）の質のスコアリングに焦点を当てており、複数の運動タイプに一般化を試みるものはごく少数である。
• フィードバックを生成する研究は少数であり、その中でもフィードバックは主にパrameterのずれ分析や軌跡のずれに基づいているが、エンドツーエンドで学習されたポリシーからのものではない。
• 多数の手法が、関節角、軌跡、幾何的不変量などの手作業による特徴を用いており、ディープニューラルネットワークによる特徴学習の使用は限定的である。
• 時間的整合化は重要な課題であり、約半数の研究がシーケンスモデル（例：RNN、HMM）を用いているが、他は動的時間ワープ（DTW）や新しいワープ技術に依存している。
• DGD や SPHERE、UI-PRMD といった公開データセットが存在するが、多くの研究が非公開の、タスク固有のデータセットを用いており、再現性やベンチマークの整備が制限されている。
• スコア予測は主に正規化された類似性測定に基づいているが、エンドツーエンドの回帰はあまり使われず、非医療分野では連続的スコアリングが一般的であるのに対し、臨床的評価では離散的分類が支配的である。