[论文解读] Generative adversarial networks for generation and classification of physical rehabilitation movement episodes

Lei Li, Aleksandar Vakanski|arXiv (Cornell University)|Dec 15, 2018

Human Pose and Action Recognition参考文献 35被引用 5

一句话总结

本文提出了一种生成对抗网络（GAN）框架，利用动作捕捉数据对物理康复运动片段进行建模与生成。通过基于卷积或循环结构的对抗性判别与生成子网络进行训练，该模型能够准确分类新的运动序列，并生成逼真且多样的运动样本，其表现与记录的康复训练动作高度相似。

ABSTRACT

This article proposes a method for mathematical modeling of human movements related to patient exercise episodes performed during physical therapy sessions by using artificial neural networks. The generative adversarial network structure is adopted, whereby a discriminative and a generative model are trained concurrently in an adversarial manner. Different network architectures are examined, with the discriminative and generative models structured as deep subnetworks of hidden layers comprised of convolutional or recurrent computational units. The models are validated on a data set of human movements recorded with an optical motion tracker. The results demonstrate an ability of the networks for classification of new instances of motions, and for generation of motion examples that resemble the recorded motion sequences.

研究动机与目标

• 开发一种基于深度神经网络的机器学习框架，用于建模物理康复中的人体运动模式。
• 通过生成建模技术，解决康复领域运动数据有限的问题，生成逼真且多样的运动序列。
• 通过在对抗设置下训练的判别子网络，提升对新运动片段的分类准确性。
• 评估不同神经网络架构（卷积与循环）在生成与分类任务中的表现。
• 在真实物理治疗会话的动作捕捉数据上验证该方法，确保其临床相关性。

提出的方法

• 采用条件生成对抗网络（cGAN）架构，其中生成器负责生成运动序列，判别器负责区分真实与生成的序列。
• 将判别与生成模型构建为深层子网络，其隐藏层由卷积单元或循环单元（LSTM/GRU）构成。
• 采用极小化最大损失目标，以对抗方式联合训练两个网络，优化生成器使其能够欺骗判别器。
• 将动作捕捉数据作为真实序列，以三维关节坐标作为输入特征用于训练与评估。
• 应用批量归一化与ReLU激活函数，以稳定训练过程并提升收敛性。
• 通过在未见运动片段上的分类准确率，以及对生成序列的定性与定量分析，评估模型性能。

实验结果

研究问题

• RQ1 基于GAN的框架能否有效生成与真实患者训练动作高度相似的逼真物理康复运动序列？
• RQ2 在运动数据的时序依赖建模方面，卷积与循环架构在生成与分类任务中的表现如何比较？
• RQ3 判别子网络在多大程度上能够准确分类来自同一康复任务的全新、未见过的运动片段？
• RQ4 与基线生成模型相比，对抗性训练是否能提升生成运动序列的泛化能力与多样性？
• RQ5 所提出的模型能否有效处理真实治疗会话中观察到的人体运动模式的多样性与复杂性？

主要发现

• GAN框架成功生成了在感知上与真实康复训练动作相似的运动序列，具有高度多样性与时序一致性。
• 判别子网络在未见运动片段上实现了高分类准确率，表明其对新实例具有强大的泛化能力。
• 循环架构（LSTM/GRU）在建模运动序列中的长期时序依赖方面优于卷积网络。
• 对抗性训练过程显著提升了生成序列的质量与真实感，相较于基于自编码器的基线方法表现更优。
• 该模型在生成与分类任务中均表现出色，表明其在临床与科研应用中具有双重实用性。
• 定量评估显示，生成序列在运动特征空间中具有低重建误差与高相似度，接近真实数据。