[论文解读] Long-Term Video Interpolation with Bidirectional Predictive Network

Xiongtao Chen, Wenmin Wang+3 more|arXiv (Cornell University)|Jun 13, 2017

Advanced Image Processing Techniques被引用 4

一句话总结

该论文提出了一种双向预测网络（BiPN），用于长时视频插值，通过从起始帧向前预测和从结束帧向后预测，生成非连续视频帧之间的多个中间帧。该模型采用结合图像、特征和对抗损失的联合损失函数，并通过噪声向量输入扩展至多模态生成，在 Moving 2D Shapes 和 UCF101 数据集上实现了具有竞争力的结果，多尺度变体的 PSNR 达到 31.4，SSIM 达到 0.94。

ABSTRACT

This paper considers the challenging task of long-term video interpolation. Unlike most existing methods that only generate few intermediate frames between existing adjacent ones, we attempt to speculate or imagine the procedure of an episode and further generate multiple frames between two non-consecutive frames in videos. In this paper, we present a novel deep architecture called bidirectional predictive network (BiPN) that predicts intermediate frames from two opposite directions. The bidirectional architecture allows the model to learn scene transformation with time as well as generate longer video sequences. Besides, our model can be extended to predict multiple possible procedures by sampling different noise vectors. A joint loss composed of clues in image and feature spaces and adversarial loss is designed to train our model. We demonstrate the advantages of BiPN on two benchmarks Moving 2D Shapes and UCF101 and report competitive results to recent approaches.

研究动机与目标

• 为解决长时视频插值的挑战，即在非连续输入帧之间生成多个中间帧。
• 使模型能够预测合理且多样的中间序列，模拟人类对事件发展的想象。
• 通过利用起始帧和结束帧的双向时间建模，提升长期预测的鲁棒性。
• 通过结合图像、特征和对抗监督的联合损失，提升视觉质量和真实感。
• 通过引入随机噪声输入，扩展模型以生成多种合理的运动轨迹。

提出的方法

• BiPN 采用双向编码器-解码器架构，分别使用独立的前向和反向编码器处理起始帧和结束帧。
• 来自两个编码器的潜在特征被融合后输入共享解码器，以生成多个中间帧。
• 引入了 BiPN 的多尺度版本，以在不同空间分辨率下捕捉小尺度和大尺度运动模式。
• 在两个编码器的特征图中注入噪声向量，以实现多种合理中间序列的随机生成。
• 模型通过联合损失进行训练，结合像素空间中的 L1 损失、特征空间中的感知损失以及提升真实感的对抗损失。
• 所有输入帧在训练期间被缩放至 64×64，推理则在原始分辨率下进行。

实验结果

研究问题

• RQ1 深度双向网络能否有效生成非连续视频帧之间的多个中间帧？
• RQ2 与单向方法相比，从起始帧和结束帧双向建模是否能提升长期视频插值的质量？
• RQ3 噪声向量的集成是否能使模型生成多样且合理的运动轨迹，体现类人想象能力？
• RQ4 图像、特征和对抗损失的联合使用是否能带来更高的感知质量与更清晰的预测结果？
• RQ5 多尺度建模如何增强网络处理自然视频中大尺度复杂运动的能力？

主要发现

• 在 UCF101 数据集上，多尺度 BiPN 的 PSNR 达到 31.4，SSIM 达到 0.94，优于 EpicFlow（30.2 PSNR，0.93 SSIM）和 DVF（30.9 PSNR，0.94 SSIM）。
• 在 Moving 2D Shapes 数据集上，BiPN 成功生成了 14 个中间帧，其轨迹准确性和外观保持性与真实值高度一致。
• 采用不同的噪声向量可生成截然不同但合理的运动序列，证明了模型具备多模态生成能力。
• 与单尺度版本相比，多尺度 BiPN 显示出更低的生成器损失和更高的 SharpDiff（锐度度量），表明训练更稳定且输出质量更高。
• 在 UCF101 上的视觉结果表明，模型能对复杂动作（如举重和小提琴演奏）实现连贯的运动合成，最多可插值 8 帧。
• 模型成功捕捉了长时序动态，并在插值帧之间保持了物体的身份和外观一致性。