[論文レビュー] A deep learning framework for assessment of quality of rehabilitation exercises

Yun Liao, Aleksandar Vakanski+1 more|arXiv (Cornell University)|Jan 29, 2019

Stroke Rehabilitation and Recovery被引用数 3

ひとこと要約

本論文は、動きデータを用いたリハビリテーション運動の質の自動評価のための新規なディープラーニングフレームワークを提案する。低次元表現のためのディープオートエンコーダー、パフォーマンス指標のためのガウス・ミックスチャネル・モデル、および時間的ピラミッドを備えた空間時間ニューラルネットワークを組み合わせ、10の運動からなるデータセットにおいて、このタスクにおける最初のエンド・ツー・エンドのディープラーニング・アプローチを達成した。

ABSTRACT

Computer-aided assessment of physical rehabilitation entails evaluation of patient performance in completing prescribed rehabilitation exercises, based on processing movement data captured with a sensory system. Despite the essential role of rehabilitation assessment toward improved patient outcomes and reduced healthcare costs, existing approaches lack versatility, robustness, and practical relevance. In this paper, we propose a deep learning-based framework for automated assessment of the quality of physical rehabilitation exercises. The main components of the framework are metrics for quantifying movement performance, scoring functions for mapping the performance metrics into numerical scores of movement quality, and deep neural network models for generating quality scores of input movements via supervised learning. The proposed performance metric is defined based on the log-likelihood of a Gaussian mixture model, and encodes low-dimensional data representation obtained with a deep autoencoder network. The proposed deep spatio-temporal neural network arranges data into temporal pyramids, and exploits the spatial characteristics of human movements by using sub-networks to process joint displacements of individual body parts. The presented framework is validated using a dataset of ten rehabilitation exercises. The significance of this work is that it is the first that implements deep neural networks for assessment of rehabilitation performance.

研究の動機と目的

• 自動リハビリテーション評価のための包括的で、頑健かつ実用的なソリューションの不足に対処すること。
• 動きデータを質のスコアにマッピングする統合的なディープラーニング・フレームワークの開発。
• 客観的でデータ駆動型のパフォーマンス評価を通じて、患者の治療成績を向上させ、医療コストを削減すること。
• 臨床および家庭環境での自動評価システムの実用的導入を可能にすること。
• 実世界の運動データを用いたリハビリテーションパフォーマンス評価におけるディープラーニングのベンチマークを確立すること。

提案手法

• フレームワークは、生の動きデータから低次元表現を学習するためのディープオートエンコーダーを用いる。
• パフォーランス指標は、符号化表現にフィットしたガウス・ミックスチャネル・モデルの対数尤度から導出される。
• 深層空間時間ニューラルネットワークは、データを階層的な時間的ピラミッドに整理することで、時間的シーケンスを処理する。
• 個々の身体部位の関節変位データにサブネットワークを適用することで、人体運動における空間的構造を活用する。
• スコアリング関数は、教師あり学習を通じてパフォーランス指標を数値的質スコアにマッピングする。
• システム全体は、入力の動きシーケンスから質スコアを予測するためにエンド・ツー・エンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、生の動きデータを用いてリハビリテーション運動の質を効果的に評価できるか？
• RQ2 時間的ピラミッドを備えた空間時間ニューラルネットワークは、動きの質スコアリングにおいてどのように性能を向上させるか？
• RQ3 オートエンコーダーに基づく表現とガウス・ミックスチャネル・モデルは、どの程度意味のあるパフォーマンス指標を捉えることができるか？
• RQ4 既存の非ディープラーニング手法と比較して、提案フレームワークは運動の質の評価においてどのように優れているか？
• RQ5 多様な動きパターンを示す多様なリハビリテーション運動に、このフレームワークは一般化可能か？

主な発見

• 提案されたフレームワークは、実世界のデータを用いたリハビリテーション運動の質の評価において、最初のエンド・ツー・エンドのディープラーニングベースのアプローチを達成した。
• オートエンコーダーとガウス・ミックスチャネル・モデルの統合により、動きパフォーマンスの効果的で低次元の表現が可能になった。
• 時間的ピラミッドを備えた空間時間ニューラルネットワークは、人体運動における複雑な時間的ダイナミクスのモデリングを改善した。
• 評価データセットにおいて、10種類の異なるリハビリテーション運動で、フレームワークは頑健な性能を示した。
• 個々の身体部位のためのサブネットワークの使用は、空間的特徴の学習を強化し、スコアリングの正確性を向上させた。
• 本研究は、自動リハビリテーション評価のための基盤的ディープラーニング手法を確立し、分野における新しいベンチマークを設定した。