[論文レビュー] HMM and DTW for evaluation of therapeutical gestures using kinect

Carlos Palma, Augusto Salazar+1 more|arXiv (Cornell University)|Feb 11, 2016

Hand Gesture Recognition Systems参考文献 6被引用数 11

ひとこと要約

本稿では、Kinectで取得した動きデータを用いて、物理療法の動きにおける逸脱を検出するための隠れマルコフモデル（HMM）ベースのシステムを提案する。この手法は、微細な動きの誤差を特定する点で、多次元動的時間ワープィング（MDDTW）を上回っている。HMMは状態遷移と記号尤度をモデル化することで、非適合なシーケンスを効果的に検出でき、角度に基づく特徴量を用いた場合、最大81.3％の平均誤差認識精度を達成した。一方、MDDTWは小さな逸脱を拒否できず、特に第1段階および第2段階の動きシーケンスで顕著であった。

ABSTRACT

Automatic recognition of the quality of movement in human beings is a challenging task, given the difficulty both in defining the constraints that make a movement correct, and the difficulty in using noisy data to determine if these constraints were satisfied. This paper presents a method for the detection of deviations from the correct form in movements from physical therapy routines based on Hidden Markov Models, which is compared to Dynamic Time Warping. The activities studied include upper an lower limbs movements, the data used comes from a Kinect sensor. Correct repetitions of the activities of interest were recorded, as well as deviations from these correct forms. The ability of the proposed approach to detect these deviations was studied. Results show that a system based on HMM is much more likely to determine if a certain movement has deviated from the specification.

研究の動機と目的

• 専門家の観察に依存しない、客観的で自動化された物理療法の動きの質評価システムの開発を目的とする。
• ノイズの多いセンサデータにおいて、臨床的に有意義な小さな逸脱を正しく動きの形から検出する課題に対処することを目的とする。
• Kinectで取得した運動学的データを用いて、治療的動きの過程で逸脱を特定する際のHMMとMDDTWの有効性を比較することを目的とする。
• 多様な上肢および下肢の動きにおいて、制御された逸脱を加えた状況下で両モデルの頑健性を評価することを目的とする。
• HMMが状態遷移を確率的モデル化することで、MDDTWの類似度測定に基づくアプローチに比べて、外れ値検出に優れているかどうかを検証することを目的とする。

提案手法

• Kinectセンサが、14名の被験者が実施した10種類の標準化された物理療法運動の3次元関節軌道を記録した。運動には正しい動きと逸脱した動きの両方が含まれた。
• 関節角度は解剖学的平面（矢状面、冠状面、額状面）に対して相対的に抽出され、モデルの入力となる動き特徴量を定義した。
• HMMは正しい動きのシーケンスを学習し、各関節角度シーケンスの状態遷移と観測確率をモデル化した。
• MDDTWは、多次元空間におけるユークリッド距離を用いて、テストシーケンスとリファレンステンプレート間のアライメントコストを計算した。
• HMMにおけるテストシーケンスの尤度は、前方アルゴリズムを用いて計算され、尤度が低いほど逸脱が疑われる。
• 特定の運動平面での制御された逸脱を加えたシーケンスに対して、HMMとMDDTWのスコアを比較することで、誤差検出を評価した。

実験結果

リサーチクエスチョン

• RQ1 HMMは、MDDTWでは容易に特定できない微細な治療的動きの逸脱を効果的に検出できるか？
• RQ2 物理療法の運動において、わずかに正しい形から逸脱したシーケンスを、HMMとMDDTWがどれほど効果的に拒否できるか、その性能を比較するとどうなるか？
• RQ3 HMMが状態遷移と記号確率をモデル化することで、純粋な類似度アライメントに比べ、非適合動作の検出が向上するか？
• RQ4 入力特徴量の選択（座標 vs. 関節角度）が、逸脱検出の精度にどのように影響するか？
• RQ5 センサのノイズや距離に伴う精度の低下が、実世界の状況下でHMMとMDDTWの性能にどの程度影響を及えるか？

主な発見

• HMMは、第2段階の角度特徴量を用いた場合、平均81.3％の誤差認識率を達成した。これは、MDDTWの13.0％を著しく上回った。
• 第1段階では、HMMは角度シーケンスを用いて誤差1の検出に78.1％の精度を示したが、MDDTWはわずか13.1％にとどまった。
• MDDTWは小さな逸脱を含むシーケンスを拒否できず、特に第1段階で顕著であった。ほとんどのタスクで誤差認識率は30％未満であった。
• HMMは、肩の外転、屈曲、回旋運動において優れた性能を示し、複数の条件下で70％を超える誤差認識率を達成した。
• 肩および肘の伸展、および股関節の外転に関しては、HMMの性能がやや劣った。これは、センサのノイズや距離が離れるに従い精度が低下するためと推察される。
• 本研究では、クaternionベースのデータが検出精度を向上させる可能性があると示唆されており、条件付きランダムフィールドのような判別的モデルを用いることで、外れ値検出の性能が向上する可能性がある。