[论文解读] Frame-Recurrent Video Inpainting by Robust Optical Flow Inference

Yifan Ding, Chuan Wang+4 more|arXiv (Cornell University)|May 8, 2019

Advanced Vision and Imaging参考文献 34被引用 14

一句话总结

本文提出了一种帧递归视频修复框架，通过将ConvLSTM与鲁棒光流生成模块相结合，实现了高质量、时序一致的视频恢复。通过使用可学习的混合网络融合修复帧与原始损坏帧的光流，该方法实现了精确的运动建模，并能实时处理任意长度和分辨率的视频，在质量和效率方面均优于当前最先进方法。

ABSTRACT

In this paper, we present a new inpainting framework for recovering missing regions of video frames. Compared with image inpainting, performing this task on video presents new challenges such as how to preserving temporal consistency and spatial details, as well as how to handle arbitrary input video size and length fast and efficiently. Towards this end, we propose a novel deep learning architecture which incorporates ConvLSTM and optical flow for modeling the spatial-temporal consistency in videos. It also saves much computational resource such that our method can handle videos with larger frame size and arbitrary length streamingly in real-time. Furthermore, to generate an accurate optical flow from corrupted frames, we propose a robust flow generation module, where two sources of flows are fed and a flow blending network is trained to fuse them. We conduct extensive experiments to evaluate our method in various scenarios and different datasets, both qualitatively and quantitatively. The experimental results demonstrate the superior of our method compared with the state-of-the-art inpainting approaches.

研究动机与目标

• 为解决在任意视频长度和帧尺寸下保持时序一致性和空间细节的挑战。
• 克服3D CNN在处理大位移和高计算成本方面的局限性。
• 开发一种在存在缺失区域（孔洞）的帧上仍能有效工作的鲁棒光流估计方法。
• 实现实时、流式视频修复，无固定尺寸或长度限制。
• 将通过图像修复实现的空间建模与通过ConvLSTM实现的时间建模相结合，以获得更优的重建质量。

提出的方法

• 采用基于ConvLSTM的架构来建模帧之间的时序依赖关系，利用光流作为中间表示以保持运动一致性。
• 设计鲁棒光流生成模块，通过可学习的混合网络融合两种光流源：来自修复帧的光流和来自原始损坏帧的光流。
• 混合网络可自适应地学习光流的组合方式，降低误差，提升孔洞区域的运动估计精度。
• 使用空间网络（如PartialConv）对每一帧独立进行图像修复，以在时间细化前初始化帧内容。
• 采用联合损失函数平衡空间一致性和时间一致性，减少闪烁现象并提升视觉质量。
• 该框架以流式方式处理视频，支持在任意长度和高分辨率视频上实现实时推理。

实验结果

研究问题

• RQ1 在不使用3D CNN的情况下，基于ConvLSTM的帧递归架构能否有效建模视频修复中的长程时序依赖？
• RQ2 如何在存在缺失区域的帧中准确估计光流，以指导时间重建？
• RQ3 可学习的光流混合机制是否相比使用单一来源光流能提升运动估计的鲁棒性？
• RQ4 所提方法是否在多种掩码类型和数据集上均实现了视觉质量与时序一致性的优越性能？
• RQ5 该框架能否实现实时处理任意长度和分辨率的视频，而无需像以往基于3D-CNN的方法那样受限于固定输入？

主要发现

• 所提方法在FaceForensics和DAVIS+VIDEVO数据集上，针对所有掩码类型（固定矩形、随机矩形、随机行走掩码）均达到最先进性能。
• 消融实验表明，ConvLSTM模块显著提升了时序一致性，相比逐帧修复方法有效减少了闪烁伪影。
• 光流混合网络降低了光流误差，实现了更精确的运动建模与更优的重建效果，尤其在大位移场景下表现突出。
• 该方法优于仅使用PartialConv或仅使用ConvLSTM的基线模型，验证了空间建模与时间建模的互补优势。
• 定量结果表明，L1损失更低，FID/SSIM分数更高，且在所有评估设置下均保持一致的性能增益。
• 该框架支持在任意长度和帧尺寸的视频上实现实时流式推理，克服了以往基于3D-CNN方法的关键限制。