[论文解读] Disentangling Propagation and Generation for Video Prediction

Hang Gao, Huazhe Xu+4 more|arXiv (Cornell University)|Dec 2, 2018

Generative Adversarial Networks and Image Synthesis参考文献 42被引用 11

一句话总结

本文提出 DPG（解耦传播与生成），一种将基于运动的光流变形与与运动无关的图像修复分离的视频预测模型，通过使用置信度感知的遮挡图实现。通过在变形后计算遮挡掩码，并使用专用修复器处理未遮挡区域，该方法在 KITTI Flow 和 CalTech Pedestrian 数据集上实现了感知真实感和清晰度的最先进性能，SSIM 和 LPIPS 指标显著提升。

ABSTRACT

A dynamic scene has two types of elements: those that move fluidly and can be predicted from previous frames, and those which are disoccluded (exposed) and cannot be extrapolated. Prior approaches to video prediction typically learn either to warp or to hallucinate future pixels, but not both. In this paper, we describe a computational model for high-fidelity video prediction which disentangles motion-specific propagation from motion-agnostic generation. We introduce a confidence-aware warping operator which gates the output of pixel predictions from a flow predictor for non-occluded regions and from a context encoder for occluded regions. Moreover, in contrast to prior works where confidence is jointly learned with flow and appearance using a single network, we compute confidence after a warping step, and employ a separate network to inpaint exposed regions. Empirical results on both synthetic and real datasets show that our disentangling approach provides better occlusion maps and produces both sharper and more realistic predictions compared to strong baselines.

研究动机与目标

• 解决在具有复杂遮挡和大运动的动态场景中实现准确视频预测的挑战。
• 克服先前方法在盲目变形或从头生成时导致的鬼影或不真实结果的局限性。
• 通过显式解耦运动特异性传播与与运动无关的生成，提升视频预测保真度。
• 开发一种置信度感知的、后变形的遮挡图，以指导对未遮挡区域的选择性修复。
• 在合成与真实世界基准上展示优越性能，特别是在处理大运动和遮挡方面。

提出的方法

• 模型使用光流预测器从输入帧外推到目标未来帧的光流。
• 置信度感知的变形操作符基于预测光流将像素从最后一帧输入传播，置信度基于光流可靠性计算。
• 在变形后生成稀疏遮挡图，以识别低置信度区域，指示未遮挡或模糊区域。
• 使用遮挡图作为掩码，通过独立的上下文编码器（修复器）为遮挡区域生成真实像素。
• 最终预测通过使用遮挡图作为门控机制，融合高置信度的变形像素与低置信度的修复像素生成。
• 模型采用加权损失进行训练，强调在遮挡区域的重建质量，使用可学习的掩码权重 β。

实验结果

研究问题

• RQ1 解耦运动传播与外观生成是否能提升视频预测质量？
• RQ2 后变形置信度估计是否优于端到端模型中的联合学习，实现更优的遮挡检测？
• RQ3 对未遮挡区域使用独立修复器是否能在复杂场景中超越融合式或自编码器式优化？
• RQ4 计算出的遮挡图在 IoU 和下游性能方面与真实标签及学习得到的对应物相比如何？
• RQ5 在训练期间，为遮挡区域设置何种最优损失权重可最大化预测保真度？

主要发现

• 在 KITTI Flow 数据集上，所提方法实现了 22.3 的 PSNR、0.696 的 SSIM 和 0.114 的 LPIPS，优于所有基线方法。
• 在多帧预测中，该模型表现出一致的性能提升，PSNR 在 8 个预测帧中保持稳定，而 DVF 则迅速下降。
• 消融实验证实，使用计算出的遮挡图（在 RoamingImages 上 IoU = 24.91）在遮挡检测和下游预测质量方面显著优于学习得到的遮挡图（IoU = 0.0411）。
• 对掩码权重 β 的消融分析表明，为遮挡区域分配更高的损失权重（β = 10）可获得最佳性能（PSNR: 22.3，SSIM: 0.696，LPIPS: 0.114），而仅对遮挡区域进行掩码（β = ∞）则导致性能急剧下降。
• 该模型在 CalTech Pedestrian 和 KITTI Flow 数据集上均达到最先进性能，尤其在处理大运动和未遮挡区域方面，显著提升了感知真实感与清晰度。
• 基于置信度的遮挡图提升了泛化能力与鲁棒性，表现为即使在无真实遮挡监督的情况下，性能提升依然稳定。