[论文解读] Motion Segmentation using Frequency Domain Transformer Networks

Hafez Farazi, Sven Behnke|arXiv (Cornell University)|Apr 18, 2020

Human Pose and Action Recognition参考文献 10被引用 4

一句话总结

本文提出了一种端到端的频域Transformer网络，通过分别建模前景和背景运动，实现自监督视频预测，提升了可解释性与性能。通过利用频域表征和联合运动估计，其在合成数据上的表现优于Video Ladder Network和Predictive Gated Pyramids。

ABSTRACT

Self-supervised prediction is a powerful mechanism to learn representations that capture the underlying structure of the data. Despite recent progress, the self-supervised video prediction task is still challenging. One of the critical factors that make the task hard is motion segmentation, which is segmenting individual objects and the background and estimating their motion separately. In video prediction, the shape, appearance, and transformation of each object should be understood only by predicting the next frame in pixel space. To address this task, we propose a novel end-to-end learnable architecture that predicts the next frame by modeling foreground and background separately while simultaneously estimating and predicting the foreground motion using Frequency Domain Transformer Networks. Experimental evaluations show that this yields interpretable representations and that our approach can outperform some widely used video prediction methods like Video Ladder Network and Predictive Gated Pyramids on synthetic data.

研究动机与目标

• 为解决自监督视频预测中的运动分割挑战，即必须从像素级帧预测中推断出单个物体的运动。
• 通过分别建模前景和背景运动，改进表征学习，提升预测帧的可解释性。
• 开发一种端到端可训练的架构，联合估计并利用频域特征进行运动预测。
• 在合成基准上超越现有的视频预测模型，如Video Ladder Network和Predictive Gated Pyramids。

提出的方法

• 该方法采用频域Transformer网络，从视频帧中提取并建模频域中的运动表征。
• 通过专用的流头分别建模前景和背景，以提升运动分割与预测的准确性。
• 运动估计与帧预测联合进行，使网络能够学习解耦的运动表征。
• 通过仅使用像素空间重建损失进行自监督训练，以预测下一帧。
• 应用频域变换以增强对运动模式的敏感性，并提升特征的区分能力。
• 该模型为端到端可微分结构，支持运动估计与帧预测的联合优化。

实验结果

研究问题

• RQ1 频域表征是否能提升自监督学习中运动分割与视频预测的性能？
• RQ2 分别建模前景与背景运动是否能带来更具可解释性与更高准确度的视频预测？
• RQ3 基于Transformer的架构能否有效从像素级帧预测中学习解耦的运动表征？
• RQ4 所提出方法在合成数据上与Video Ladder Network和Predictive Gated Pyramids等成熟视频预测模型相比表现如何？

主要发现

• 所提方法在合成视频预测基准上优于Video Ladder Network和Predictive Gated Pyramids。
• 通过在预测过程中显式分离前景与背景运动，模型学习到了可解释的表征。
• 频域建模增强了网络捕捉运动模式的能力，提升了预测保真度。
• 联合运动估计与帧预测带来了更准确且解耦的运动表征。
• 自监督训练范式使网络无需真实运动标注即可实现有效的特征学习。