[论文解读] DeepRemaster: Temporal Source-Reference Attention Networks for Comprehensive Video Enhancement

Satoshi Iizuka, Edgar Simo‐Serra|arXiv (Cornell University)|Sep 18, 2020

Advanced Image Processing Techniques参考文献 47被引用 5

一句话总结

本文提出 DeepRemaster，一种基于时间源-参考注意力网络的端到端单一框架，用于全面的复古电影修复。通过新颖的注意力机制，利用多个参考彩色图像，整合超分辨率、去噪、对比度增强和着色，实现仅需最少用户输入即可在长视频上获得高质量、时间一致的修复结果。

ABSTRACT

The remastering of vintage film comprises of a diversity of sub-tasks including super-resolution, noise removal, and contrast enhancement which aim to restore the deteriorated film medium to its original state. Additionally, due to the technical limitations of the time, most vintage film is either recorded in black and white, or has low quality colors, for which colorization becomes necessary. In this work, we propose a single framework to tackle the entire remastering task semi-interactively. Our work is based on temporal convolutional neural networks with attention mechanisms trained on videos with data-driven deterioration simulation. Our proposed source-reference attention allows the model to handle an arbitrary number of reference color images to colorize long videos without the need for segmentation while maintaining temporal consistency. Quantitative analysis shows that our framework outperforms existing approaches, and that, in contrast to existing approaches, the performance of our framework increases with longer videos and more reference color images.

研究动机与目标

• 解决复古电影中噪声、模糊、低分辨率和色彩退化等复杂且相互关联的挑战。
• 开发一个统一的深度学习框架，同时执行超分辨率、去噪、对比度增强和着色。
• 通过任意数量的参考彩色图像实现半交互式修复，无需图像分割。
• 在长视频序列修复过程中确保时间一致性。
• 利用模拟胶片退化构建数据驱动的训练流程，以提升模型的泛化能力。

提出的方法

• 该框架采用时间卷积网络（TCNs）同时处理多个视频帧，捕捉时空上下文信息。
• 提出一种新颖的源-参考注意力机制，为每个输出帧动态关注多个参考彩色图像中的相关区域。
• 该注意力机制可高效选择相关参考图像及其空间区域，支持任意数量参考图像的使用。
• 模型在合成的、数据增强的视频退化数据上进行端到端训练，以模拟真实世界胶片的退化过程。
• 网络架构结合了修复与着色分支，联合优化图像质量和时间一致性。
• 采用15帧上下文窗口的时间卷积，确保运动一致性，同时自注意力机制增强帧间特征传播。

实验结果

研究问题

• RQ1 单一深度学习框架能否有效同时处理多个相互依赖的修复任务（如超分辨率、去噪、对比度增强、着色）？
• RQ2 如何设计一种注意力机制，以在无需分割的前提下高效利用任意数量的参考彩色图像进行视频着色？
• RQ3 与现有方法相比，该修复框架的性能是否随视频序列变长和参考图像增多而提升？
• RQ4 是否能通过统一的注意力机制在不同场景（如特写、全景）中保持时间一致性？
• RQ5 数据驱动的退化模拟在多大程度上提升了模型在真实复古电影上的泛化能力与性能表现？

主要发现

• 所提出的源-参考注意力机制有效利用了多张参考图像，显著提升了着色质量与一致性。
• 在GTX 1080Ti GPU上，每帧推理时间仅为69ms，其中65ms用于着色，展现出良好的实际效率。
• 定量结果表明，性能随视频长度增加和参考图像数量增多而提升，这一趋势在以往方法中未被观察到。
• 定性对比显示，该模型在大范围噪声与模糊修复方面表现更优，优于基于流水线的方法如 [Zhang et al., 2017b] 和 [Vondrick et al., 2018]。
• 该框架仅使用六张参考彩色图像，即可在单步处理中成功修复700帧视频，保持稳定且自然的色彩输出。
• 局限性在于无法处理严重的帧丢失或极端退化情况（如图像大面积缺失），此类问题需图像补全技术，超出当前研究范围。