[论文解读] A Temporally-Aware Interpolation Network for Video Frame Inpainting

Ximeng Sun, Ryan Szeto+1 more|arXiv (Cornell University)|Mar 20, 2018

Generative Adversarial Networks and Image Synthesis参考文献 39被引用 3

一句话总结

本文提出了一种新颖的深度学习框架，用于视频帧修复，通过首先使用共享的卷积LSTM编码器-解码器分别从前向和后向预测相邻帧，然后利用时间感知插值（TAI）网络将这些预测结果进行融合，该网络采用时间感知融合与隐藏特征融合，以解决不一致性并提升准确性。该方法在KTH Actions、HMDB-51和UCF-101数据集上实现了最先进性能。

ABSTRACT

We propose the first deep learning solution to video frame inpainting, a challenging instance of the general video inpainting problem with applications in video editing, manipulation, and forensics. Our task is less ambiguous than frame interpolation and video prediction because we have access to both the temporal context and a partial glimpse of the future, allowing us to better evaluate the quality of a model's predictions objectively. We devise a pipeline composed of two modules: a bidirectional video prediction module, and a temporally-aware frame interpolation module. The prediction module makes two intermediate predictions of the missing frames, one conditioned on the preceding frames and the other conditioned on the following frames, using a shared convolutional LSTM-based encoder-decoder. The interpolation module blends the intermediate predictions to form the final result. Specifically, it utilizes time information and hidden activations from the video prediction module to resolve disagreements between the predictions. Our experiments demonstrate that our approach produces more accurate and qualitatively satisfying results than a state-of-the-art video prediction method and many strong frame inpainting baselines.

研究动机与目标

• 解决仅使用前后帧重建缺失的、时间上连续的视频帧的挑战。
• 通过利用前后时间上下文，减少视频帧修复中的歧义。
• 通过可学习的融合机制解决双向预测之间的不一致性，从而提升预测质量。
• 开发一种可泛化至不同数量缺失帧（包括较长序列）的模型。
• 建立基于深度学习的视频帧修复新基准，与通用视频修复、帧插值或视频预测方法区分开来。

提出的方法

• 该方法使用基于共享卷积LSTM编码器-解码器的双向视频预测模块，生成两个中间预测：一个基于前序帧（前向预测），另一个基于后序帧（后向预测）。
• 时间感知插值（TAI）网络利用时间步信息对成对预测帧进行融合，实现随时间位置自适应的时间感知融合。
• TAI网络将视频预测模块的隐藏激活作为辅助输入，以指导融合过程并解决预测间的空间不一致性。
• 融合网络采用类似U-Net的架构，结合VGG模块，并学习一维卷积核，以根据上下文动态加权两个预测结果。
• 模型使用组合损失进行训练，包括重建损失（L1）和对抗损失，判别器应用谱归一化以提升训练稳定性。
• 训练通过随机水平翻转和时间反转进行数据增强，模型在包含不同缺失帧数的多个动作识别数据集上进行评估。

实验结果

研究问题

• RQ1 当仅提供前后帧而无小尺度时空孔洞时，深度学习模型能否有效重建缺失的视频帧？
• RQ2 如何结合来自过去和未来的帧的双向预测，以减少歧义并提升视频帧修复的重建质量？
• RQ3 与简单平均或早期融合相比，引入时间感知融合与隐藏特征融合在多大程度上提升了预测帧的一致性与真实感？
• RQ4 TAI网络是否能泛化至不同数量的缺失帧，即使在仅用固定数量中间帧训练的情况下？
• RQ5 所提方法在视频预测、帧插值和通用视频修复方面，与强基线方法相比在定量和定性指标上表现如何？

主要发现

• 所提出的TAI网络在KTH Actions、HMDB-51和UCF-101数据集上的PSNR和SSIM得分均高于所有对比基线，包括最先进水平的视频预测与帧修复方法。
• 该模型显著优于bi-TW和MC-Net基线，尤其在处理较长缺失帧序列时表现更优，定量指标与视觉质量均有提升。
• TAI网络对不同数量的缺失帧具有良好的泛化能力：在测试6–9帧缺失的中间帧时，仍保持高性能，表明时间编码的有效扩展。
• 消融实验证实，TAI网络的所有组件——时间感知融合、特征融合与双路预测——均对性能有显著贡献，任一组件的移除均导致PSNR与SSIM下降。
• 与基线相比，该模型生成的预测更具视觉一致性与时间连贯性，尤其在复杂人类动作序列中，运动一致性与空间对齐性尤为关键。