[论文解读] Predictive Learning: Using Future Representation Learning Variantial Autoencoder for Human Action Prediction

Runsheng Yu, Shi Zhenyu+2 more|arXiv (Cornell University)|Nov 25, 2017

Human Pose and Action Recognition参考文献 26被引用 5

一句话总结

该论文提出了一种新型无监督框架——未来表征学习变分自编码器（FL-VAE），通过训练变分自编码器生成未来帧，从而促使模型学习与后续动作具有强因果关联的特征，进而提升人类动作预测性能。在UT和UCF101数据集上的实验表明，FL-VAE在部分观测条件下尤其优于当前最先进方法，证明了未来生成有助于提升动作预测的表征学习能力。

ABSTRACT

The unsupervised Pretraining method has been widely used in aiding human action recognition. However, existing methods focus on reconstructing the already present frames rather than generating frames which happen in future.In this paper, We propose an improved Variantial Autoencoder model to extract the features with a high connection to the coming scenarios, also known as Predictive Learning. Our framework lists as following: two steam 3D-convolution neural networks are used to extract both spatial and temporal information as latent variables. Then a resample method is introduced to create new normal distribution probabilistic latent variables and finally, the deconvolution neural network will use these latent variables generate next frames. Through this possess, we train the model to focus more on how to generate the future and thus it will extract the future high connected features. In the experiment stage, A large number of experiments on UT and UCF101 datasets reveal that future generation aids Prediction does improve the performance. Moreover, the Future Representation Learning Network reach a higher score than other methods when in half observation. This means that Future Representation Learning is better than the traditional Representation Learning and other state- of-the-art methods in solving the human action prediction problems to some extends.

研究动机与目标

• 为解决在关键帧出现前预测人类动作的挑战，通过学习与未来动作具有强因果关联的特征来实现。
• 通过将关注点从重建过去帧转向生成未来帧，改进动作预测的表征学习。
• 开发一种自监督框架，通过生成式训练隐式引导模型提取与未来相关的特征。
• 验证未来表征学习相较于传统表征学习在早期动作预测中能带来更优性能。
• 探究不同生成组件（过去 vs. 未来）以及架构选择（双流结构、数据增强）对预测准确率的相对贡献。

提出的方法

• 双流3D-CNN（C3D）网络分别处理RGB帧和光流，以从过去视频片段中提取空间与时间特征。
• 变分自编码器（VAE）将这些特征编码为潜在变量，并通过重参数化采样强制潜在空间服从标准正态分布。
• 多流转置卷积解码器生成未来RGB帧和光流，使模型通过重建损失学习未来预测性特征。
• 通过结合未来帧的重建损失与KL散度项对潜在空间进行正则化，对模型进行预训练。
• 在学习到的潜在特征上训练分类器进行动作预测，并对整个系统进行端到端微调。
• 通过随机裁剪和多尺度裁剪进行数据增强，以减少过拟合并提升泛化能力。

实验结果

研究问题

• RQ1 未来帧生成能否提升早期人类动作预测中所学表征的质量？
• RQ2 训练VAE以重建未来帧是否比重建过去帧能带来更优的特征学习效果？
• RQ3 与过去生成建模相比，未来生成建模在预测性能上的表现如何？
• RQ4 不同架构组件——未来生成器、双流网络、数据增强——对模型准确率的相对贡献是什么？
• RQ5 在部分观测条件下（如仅观察视频前10%~50%），未来表征学习在多大程度上提升了性能？

主要发现

• FL-VAE在UT和UCF101数据集上均达到最先进性能，尤其在部分观测条件下表现尤为突出。
• 以未来RGB帧和光流作为输出的模型优于所有其他变体，表明未来帧预测能有效增强特征学习。
• 与过去生成模型相比，未来生成模型在观测时间少于50%时显著提升了预测准确率，尤其在早期预测场景中优势明显。
• 双流C3D网络（RGB + 光流）对性能提升贡献最大，其次是未来生成网络和数据增强。
• 高比例Dropout带来的改进微乎其微，表明在此设置下其正则化效果弱于其他方法。
• 即使在100%观测率下，模型仍保持优异性能，表明未来生成学习同样有助于当前动作识别。