[论文解读] Motion Prediction Under Multimodality with Conditional Stochastic Networks

Katerina Fragkiadaki, Jonathan Huang+4 more|arXiv (Cornell University)|May 5, 2017

Human Pose and Action Recognition参考文献 36被引用 13

一句话总结

本文提出了一种条件随机神经网络，通过从学习到的随机潜在变量的高斯分布中采样，对多模态运动预测进行建模，从而实现多样化且高质量的未来预测。该方法通过新型架构（如卷积索引解码器和随机空间变换器）在高不确定性场景下优于确定性和变分基线模型，其中K-best-sample损失在低历史、高不确定性场景中表现更优。

ABSTRACT

Given a visual history, multiple future outcomes for a video scene are equally probable, in other words, the distribution of future outcomes has multiple modes. Multimodality is notoriously hard to handle by standard regressors or classifiers: the former regress to the mean and the latter discretize a continuous high dimensional output space. In this work, we present stochastic neural network architectures that handle such multimodality through stochasticity: future trajectories of objects, body joints or frames are represented as deep, non-linear transformations of random (as opposed to deterministic) variables. Such random variables are sampled from simple Gaussian distributions whose means and variances are parametrized by the output of convolutional encoders over the visual history. We introduce novel convolutional architectures for predicting future body joint trajectories that outperform fully connected alternatives \cite{DBLP:journals/corr/WalkerDGH16}. We introduce stochastic spatial transformers through optical flow warping for predicting future frames, which outperform their deterministic equivalents \cite{DBLP:journals/corr/PatrauceanHC15}. Training stochastic networks involves an intractable marginalization over stochastic variables. We compare various training schemes that handle such marginalization through a) straightforward sampling from the prior, b) conditional variational autoencoders \cite{NIPS2015_5775,DBLP:journals/corr/WalkerDGH16}, and, c) a proposed K-best-sample loss that penalizes the best prediction under a fixed "prediction budget". We show experimental results on object trajectory prediction, human body joint trajectory prediction and video prediction under varying future uncertainty, validating quantitatively and qualitatively our architectural choices and training schemes.

研究动机与目标

• 解决在多个未来结果同样可能的场景中进行多模态运动预测的问题，例如行人或车辆轨迹预测。
• 克服确定性回归器（仅预测均值结果）和离散分类器（在连续高维空间中表现不佳）的局限性。
• 设计深层可微架构，通过潜在变量中的随机性生成多样化且合理的未来样本。
• 评估并比较不同的训练方案——直接采样、变分推理以及一种新颖的K-best-sample损失——以应对随机网络中难以处理的边缘化问题。
• 在不同不确定性水平下，验证并比较模型在物体轨迹、人体关节点轨迹和视频帧预测中的有效性。

提出的方法

• 从视觉输入历史中通过卷积编码器预测均值和方差，对随机潜在变量进行高斯分布采样。
• 通过深度非线性变换解码这些随机变量，生成未来输出，从而实现多模态预测。
• 对于关节点轨迹，卷积索引解码器从反卷积特征图中提取关节点特定像素位置的特征嵌入，相比全连接层具有更好的泛化能力。
• 对于视频预测，随机空间变换器通过预测密集光流场并应用可微反向变形，生成未来帧。
• 评估三种训练方案：直接先验采样、条件变分自编码器（使用近似后验分布），以及提出的K-best-sample损失，该损失仅对固定预算内最佳预测进行惩罚。
• 使用TensorFlow在三个基准数据集上进行训练和评估：Stanford Drone（物体轨迹）、H3.6M（关节点轨迹）和Freiburg-Berkeley MoSeg（视频帧预测）。

实验结果

研究问题

• RQ1 随机神经网络能否有效建模在多个未来结果同样可能的运动预测任务中的多模态未来结果？
• RQ2 在难以处理的边缘化问题下，直接采样、变分推理和K-best-sample损失等不同训练方案在优化随机网络方面的表现如何比较？
• RQ3 所提出的卷积索引解码器架构是否在人体关节点轨迹预测中优于全连接结构，从而提升泛化能力？
• RQ4 结合光流变形的随机空间变换器能否生成比确定性基线更丰富多样且更准确的视频预测？
• RQ5 在高不确定性场景（如单帧条件）下，预测性能如何随输入历史长度变化？

主要发现

• K-best-sample损失在高不确定性场景（如单帧预测）中显著优于直接采样和变分自编码器训练，尤其在存在多个合理未来路径时表现更优。
• 在Stanford Drone数据集上，采用K-best-loss的模型在仅使用一帧作为条件时，top-1误差显著低于确定性回归基线，且top-4误差低于变分自编码器基线。
• 对于关节点轨迹预测，卷积索引解码器通过利用全卷积编码器提供的空间局部化特征表示，优于全连接基线。
• 在H3.6M数据集（相机静止）上，随机空间变换器模型能生成多样化且合理的未来帧；而在MoSeg数据集（存在相机运动）上，由于未建模相机动态，单帧预测仍具挑战性。
• 定量结果表明，随着输入历史长度增加，不确定性降低，确定性模型的性能更占优势，但随机模型在模糊高不确定性情况下仍保持优势。
• 定性结果表明，所有任务中均能生成多样化且逼真的样本，视频生成结果可通过作者在线网站提供的动画GIF查看。