[论文解读] AnimeSR: Learning Real-World Super-Resolution Models for Animation Videos

Yanze Wu, Xintao Wang+2 more|arXiv (Cornell University)|Jun 14, 2022

Advanced Image Processing Techniques被引用 13

一句话总结

AnimeSR 提出了一种新颖的动画视频真实世界超分辨率方法，通过学习神经基本操作符以模拟退化过程，引入大规模 AVC 数据集，并采用高效的多尺度循环网络。该方法通过更准确地建模真实退化并抑制‘空心线条’和噪声等伪影，实现了最先进性能。

ABSTRACT

This paper studies the problem of real-world video super-resolution (VSR) for animation videos, and reveals three key improvements for practical animation VSR. First, recent real-world super-resolution approaches typically rely on degradation simulation using basic operators without any learning capability, such as blur, noise, and compression. In this work, we propose to learn such basic operators from real low-quality animation videos, and incorporate the learned ones into the degradation generation pipeline. Such neural-network-based basic operators could help to better capture the distribution of real degradations. Second, a large-scale high-quality animation video dataset, AVC, is built to facilitate comprehensive training and evaluations for animation VSR. Third, we further investigate an efficient multi-scale network structure. It takes advantage of the efficiency of unidirectional recurrent networks and the effectiveness of sliding-window-based methods. Thanks to the above delicate designs, our method, AnimeSR, is capable of restoring real-world low-quality animation videos effectively and efficiently, achieving superior performance to previous state-of-the-art methods. Codes and models are available at https://github.com/TencentARC/AnimeSR.

研究动机与目标

• 为解决现有真实世界超分辨率方法在处理具有复杂真实退化特征的低质量动画视频时的局限性。
• 开发一种更精确的退化模拟流程，以捕捉动画视频中真实世界伪影的真实分布。
• 构建一个大规模、高质量的动画视频数据集（AVC），以支持动画视频超分辨率模型的训练与评估。
• 设计一种高效且有效的多尺度网络架构，结合单向循环结构与滑动窗口特征融合，以提升性能。

提出的方法

• 提出训练小型轻量级神经网络（2–3个卷积层）作为‘可学习基本操作符’（LBOs），以替代传统固定操作符（如模糊和噪声）在退化建模中的应用。
• 引入一种‘输入重缩放策略’，通过缩放和使用预训练模型从低质量视频生成伪高分辨率样本，实现在无真实配对数据情况下的 LBO 监督学习。
• 构建了 AVC 数据集，包含 553 段高质量动画片段（共 55,300 帧），用于训练与评估，并设有独立的真实世界低质量测试集。
• 设计一种多尺度网络结构，整合单向循环模块与基于滑动窗口的特征融合，以高效利用时间上下文并增强特征表示能力。
• 采用可学习基本操作符池（LBO 池），在训练过程中随机选择多个 LBO，以提升退化建模的多样性与鲁棒性。
• 使用 MANIQA 作为感知度量指标评估重建质量，确保在消融实验与对比研究中与人类感知保持一致。

实验结果

研究问题

• RQ1 与固定的手动设计操作符相比，可学习的神经基本操作符是否能提升真实世界动画视频超分辨率中的退化模拟精度？
• RQ2 在缺乏真实 HR-LR 配对数据的情况下，所提出的输入重缩放策略如何实现基本操作符的有效监督训练？
• RQ3 使用大规模高质量动画视频数据集（AVC）对模型泛化能力与真实世界 VSR 性能有何影响？
• RQ4 结合单向循环与滑动窗口特征融合的多尺度架构如何提升动画 VSR 的性能与效率？
• RQ5 在池中组合多个学习到的基本操作符是否能比单一 LBO 更好地抑制伪影并提升视觉质量？

主要发现

• 所提方法 AnimeSR 在 AVC 数据集上取得 MANIQA 得分为 0.3832，优于次佳方法（0.3763），表明其具有更优的感知质量。
• 使用三个学习到的基本操作符组成的 LBO 池（LBO 池）可获得更高 MANIQA 得分（0.3832），高于使用单一 LBO 的情况（0.3763），表明退化建模更具鲁棒性与多样性。
• 多尺度架构通过减少伪影与锐化线条提升了视觉质量，MANIQA 得分为 0.3763，优于单尺度变体的 0.3283。
• 视觉对比显示，AnimeSR 有效抑制了‘空心线条’伪影与噪声，而 Real-ESRGAN 与 RealBasicVSR 产生了明显的失真。
• 学习到的基本操作符（LBOs）能够捕捉复杂且混合的退化特征，如色彩抖动与非均匀模糊，而传统操作符无法建模，该结论通过合成 LQ 图块的可视化结果得到验证。
• LBO 池策略减少了窗帘等纹理中的鬼影与模糊现象，相比单 LBO 方法，生成了更清晰、更自然的线条渲染效果。