[論文レビュー] Generative adversarial networks for generation and classification of physical rehabilitation movement episodes

Lei Li, Aleksandar Vakanski|arXiv (Cornell University)|Dec 15, 2018

Human Pose and Action Recognition参考文献 35被引用数 5

ひとこと要約

本稿では、モーショングラップデータを用いて身体的リハビリテーション運動エピソードをモデリングおよび生成するための生成的対抗ネットワーク（GAN）フレームワークを提案する。畳み込み型または再帰型アーキテクチャに基づく敵対的判別および生成サブネットワークを訓練することにより、新しい運動シーケンスの正確な分類と、記録された治療エクササイズに類似した現実的で多様な運動例の生成が達成された。

ABSTRACT

This article proposes a method for mathematical modeling of human movements related to patient exercise episodes performed during physical therapy sessions by using artificial neural networks. The generative adversarial network structure is adopted, whereby a discriminative and a generative model are trained concurrently in an adversarial manner. Different network architectures are examined, with the discriminative and generative models structured as deep subnetworks of hidden layers comprised of convolutional or recurrent computational units. The models are validated on a data set of human movements recorded with an optical motion tracker. The results demonstrate an ability of the networks for classification of new instances of motions, and for generation of motion examples that resemble the recorded motion sequences.

研究の動機と目的

• 深層ニューラルネットワークを用いてリハビリテーションにおける人間の運動パターンをモデリングする機械学習フレームワークの開発。
• リハビリテーションにおける運動データの限界を克服するため、生成モデリングを用いて現実的で多様な運動シーケンスを生成する。
• 敵対的設定で訓練された判別サブネットワークを用いて、新しい運動エピソードの分類精度を向上させる。
• 生成および分類の両タスクにおいて、畳み込み型および再帰型の異なるニューラルアーキテクチャの性能を評価する。
• 臨床的妥当性を保証するため、実際の物理的治療セッションからのモーショングラップデータを用いて、アプローチの妥当性を検証する。

提案手法

• 生成器が運動シーケンスを生成し、判別器が本物のシーケンスと生成されたシーケンスを区別する条件付き生成的対抗ネットワーク（cGAN）アーキテクチャを採用する。
• 判別および生成モデルを、畳み込み型または再帰型ユニット（LSTM/GRU）で構成された隠れ層を有する深層サブネットワークとして構築する。
• ミニマックス損失目的関数を用いて、敵対的かつ同時に両ネットワークを訓練し、生成器が判別器をだませるように最適化する。
• 実際のシーケンスとしてモーショングラップデータを用い、3次元関節座標を訓練および評価の入力特徴量として使用する。
• 訓練の安定化と収束性の向上のため、バッチ正規化とReLU活性化関数を適用する。
• 分類精度（未学習の運動エピソードに対する）および生成シーケンスの定性的・定量的分析を用いて、モデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、実際の患者のエクササイズに類似した現実的で信頼性のあるリハビリテーション運動シーケンスを効果的に生成できるか？
• RQ2 生成および分類の両タスクにおいて、運動データの時間的依存関係をモデリングする際、畳み込み型アーキテクチャと再帰型アーキテクチャの性能はどのように比較されるか？
• RQ3 判別サブネットワークは、同じリハビリテーションタスクからの未学習の新しい運動エピソードをどの程度正確に分類できるか？
• RQ4 ベースラインの生成モデルと比較して、敵対的訓練は生成された運動シーケンスの一般化性および多様性を向上させるか？
• RQ5 提案されたモデルは、実際の治療セッションで観察される人間の運動パターンの変動性と複雑性を処理できるか？

主な発見

• GANフレームワークは、実際のリハビリテーションエクササイズに類似した、高い多様性と時間的整合性を持つ運動シーケンスを効果的に生成した。
• 判別サブネットワークは、未学習の運動エピソードにおいて高い分類精度を達成し、新しいインスタンスへの強力な一般化能力を示した。
• 再帰型アーキテクチャ（LSTM/GRU）は、運動シーケンスにおける長期的時間的依存関係をモデリングする点で、畳み込みネットワークを上回った。
• 敵対的訓練プロセスは、ベースラインのオートエンコーダーに基づく手法と比較して、生成されたシーケンスの質と現実性を向上させた。
• モデルは生成および分類の両タスクにおいて優れた性能を示し、臨床的および研究的応用における二重の利点を示した。
• 定量的評価では、生成されたシーケンスが運動特徴空間において実データと高い類似性を示し、低い再構成誤差を示した。