[論文レビュー] A Robust and Scalable Attention Guided Deep Learning Framework for Movement Quality Assessment

Aditya Kanade, Mansi Sharma+1 more|arXiv (Cornell University)|Apr 16, 2022

Stroke Rehabilitation and Recovery被引用数 5

ひとこと要約

本論文は、注目メカニズムを用いた特徴抽出器と、3つの新しい骨格データ拡張技術を備えた、トランスフォーマーに基づく深層学習フレームワークを提案する。このフレームワークは、UI-PRMDおよびKIMOREデータセットにおいて、最先端手法よりもそれぞれ12%および21%のスコア予測精度の向上を達成しており、注目メカニズムによる解釈可能性の向上も実現している。

ABSTRACT

Physical rehabilitation programs frequently begin with a brief stay in the hospital and continue with home-based rehabilitation. Lack of feedback on exercise correctness is a significant issue in home-based rehabilitation. Automated movement quality assessment (MQA) using skeletal movement data (hereafter referred to as skeletal data) collected via depth imaging devices can assist with home-based rehabilitation by providing the necessary quantitative feedback. This paper aims to use recent advances in deep learning to address the problem of MQA. Movement quality score generation is an essential component of MQA. We propose three novel skeletal data augmentation schemes. We show that using the proposed augmentations for generating movement quality scores result in significant performance boosts over existing methods. Finally, we propose a novel transformer based architecture for MQA. Four novel feature extractors are proposed and studied that allow the transformer network to operate on skeletal data. We show that adding the attention mechanism in the design of the proposed feature extractor allows the transformer network to pay attention to specific body parts that make a significant contribution towards executing a movement. We report an improvement in movement quality score prediction of 12% on UI-PRMD dataset and 21% on KIMORE dataset compared to the existing methods.

研究の動機と目的

• 在宅リハビリテーションプログラムにおける定量的フィードバックの欠如に対処すること。
• 骨格データに基づく深層学習を用いて、動きの質スコア予測の精度と頑健性を向上させること。
• 従来のモデルの限界、例えばオートエンコーダーにおける過学習やLSTMのスケーラビリティの低さを克服すること。
• 注目メカニズムを統合することで、動きの質評価時に重要な身体部位を強調するようモデルの解釈可能性を向上させること。
• 骨格運動シーケンスに適したスケーラブルで一般化可能なデータ拡張技術の開発

提案手法

• 関節のマスキング、時間的ペースの操作、関節のずれの摂動の3つの新しい骨格データ拡張スキームを提案。
• 提案された拡張法を用いて、より汎用的な潜在表現を学習できるように、ノイズ除去オートエンコーダーの新しい学習メカニズムを設計。
• トランスフォーマー入力に適したベクトル表現に骨格シーケンスを埋め込むための、4つの新しいCNNベースの特徴抽出器を導入。
• トランスフォーマーが動きの質に最も関連する身体部位に注目できるように、階層的特徴抽出器（HFE-A）に注目メカニズムを統合。
• LSTMよりも優れた長距離時系列依存性のモデル化を実現するため、トランスフォーマーのエンコーダー構造を採用。
• スコア予測の過程で、異なる関節や時系列窓の重要性を動的に重みづけるために、マルチヘッド注目メカニズムをトランスフォーマーに採用。

実験結果

リサーチクエスチョン

• RQ1 新しい骨格データ拡張技術は、動きの質スコア生成の一般化性能を向上させることができるか？
• RQ2 トランスフォーマー基盤アーキテクチャは、従来のCNN-LSTMモデルを上回る性能を示すことができるか？
• RQ3 特徴抽出段階に注目メカニズムを統合することで、モデル性能と解釈可能性が向上するか？
• RQ4 4つの提案された特徴抽出器のうち、どのものが骨格データにおけるトランスフォーマー基盤のシーケンスモデリングを最も効果的に支援できるか？
• RQ5 提案されたフレームワークは、より大規模で多様なリハビリテーションデータセットへどの程度スケーラブルに拡張できるか？

主な発見

• 提案されたフレームワークは、UI-PRMDデータセットにおいて、現在の最先端手法よりも12%のスコア予測精度の向上を達成した。
• KIMOREデータセットでは、既存手法よりも21%のスコア予測精度の向上を示した。
• 提案されたデータ拡張スキームの使用により、被験者間カテゴリーでは分離度指標が18%以上向上し、被験者内カテゴリーでは1.5%向上した。
• HFE-AおよびMLPベースの特徴抽出器が、提案された4つの特徴抽出器の中で最も優れた性能を示した。
• HFE-A特徴抽出器に統合された注目メカニズムにより、動きの質に寄与する重要な身体部位を強調できるようになり、解釈性が向上した。
• LSTMベースのモデルと比較して、トランスフォーマー基盤アーキテクチャは、より優れたスケーラビリティとトレーニング速度を示したが、ハイパーパrameterへの感受性が高かった。