[论文解读] Mutual Suppression Network for Video Prediction using Disentangled Features

Jungbeom Lee, Jangho Lee+2 more|arXiv (Cornell University)|Apr 13, 2018

Human Pose and Action Recognition参考文献 45被引用 9

一句话总结

该论文提出了一种互抑制网络（MSnet），通过对抗性训练从视频中解耦运动和内容特征，从而实现更精确的视频预测。通过相互抑制运动特征与内容特征，并在编码器-解码器框架中引入运动引导连接，MSnet 在使用更简单编码器的情况下实现了最先进性能，在帧预测质量和特征解耦方面优于先前方法。

ABSTRACT

Video prediction has been considered a difficult problem because the video contains not only high-dimensional spatial information but also complex temporal information. Video prediction can be performed by finding features in recent frames, and using them to generate approximations to upcoming frames. We approach this problem by disentangling spatial and temporal features in videos. We introduce a mutual suppression network (MSnet) which are trained in an adversarial manner and then produces spatial features which are free of motion information, and motion features with no spatial information. MSnet then uses motion-guided connection within an encoder-decoder-based architecture to transform spatial features from a previous frame to the time of an upcoming frame. We show how MSnet can be used for video prediction using disentangled representations. We also carry out experiments to assess the effectiveness of our method to disentangle features. MSnet obtains better results than other recent video prediction methods even though it has simpler encoders.

研究动机与目标

• 为解决视频表征学习中运动与内容纠缠的问题，该问题阻碍了无监督特征学习。
• 通过解耦空间（内容）与时间（运动）特征，而不依赖光流或标注数据，以改进视频预测。
• 通过使用运动引导连接，从先前帧优化内容特征，以实现更精确的帧生成。
• 证明解耦特征可提升视频预测中的泛化能力与可复现性。
• 通过消融实验与可视化验证相互抑制在实现纯净运动与内容表征方面的有效性。

提出的方法

• MSnet 采用相互对抗训练机制，其中两个判别器（一个用于运动，一个用于内容）在特征提取过程中抑制无关信息。
• 运动编码器通过内容判别器的惩罚损失，被训练为提取不含空间内容的特征，反之亦然。
• 从多帧（例如 x¹ 和 x²）提取内容特征，以确保时间可逆性，并增强对遮挡的鲁棒性。
• 解码器中的运动引导连接利用运动特征，将前一帧的内容特征转换为与目标帧时间上下文匹配的形式。
• 模型采用编码器-解码器架构，并通过运动信息修改跳跃连接，以改善特征传播。
• 训练目标包括用于解耦的对抗损失，以及用于保证帧预测保真度的重建损失。

实验结果

研究问题

• RQ1 相互对抗训练能否有效解耦视频表征中的运动与内容特征？
• RQ2 与单帧内容提取相比，使用多帧内容编码是否能提升鲁棒性与解耦程度？
• RQ3 解码器中的运动引导连接能否通过适应内容特征以匹配时间偏移，从而改善帧预测？
• RQ4 相互抑制如何影响提取的运动与内容特征的纯净度与语义质量？
• RQ5 与最先进方法相比，特征解耦在多大程度上提升了视频预测性能？

主要发现

• 尽管使用了更简单的编码器，MSnet 仍实现了最先进水平的视频预测性能，在定量指标与定性结果上均优于近期方法。
• 消融实验表明，若移除任一判别器（运动或内容），性能均显著下降，证实相互抑制对有效解耦的必要性。
• 基于特征的最近帧检索表明，MSnet 在同时启用两个判别器时，能依据纯粹的运动或内容检索帧，验证了特征解耦的有效性。
• t-SNE 可视化显示，运动特征按动作类型（如行走、跑步）良好聚类，而内容特征则呈随机分布，表明内容特征中成功抑制了运动信息。
• 当两个判别器均处于激活状态时，模型在多个预测帧上保持稳定性能，表明其具备稳健的时间建模能力。
• 时间可逆的内容特征设计确保了内容特征在时间顺序改变时仍保持一致，从而减少了运动泄漏。