[论文解读] A filter based approach for inbetweening

Yuichi Yagi|arXiv (Cornell University)|Jun 12, 2017

Advanced Vision and Imaging参考文献 3被引用 3

一句话总结

本文提出一种基于滤波的卷积神经网络（CNN）方法，用于在不显式计算线条对应关系或拓扑变化的情况下生成线稿动画的中间帧。通过在扫描帧上使用空间加权损失函数和数据增强技术，对双分支CNN（低分辨率与高分辨率）进行训练，该方法生成的中间帧平滑且在感知上合理，尤其当输入帧高度相似时表现更佳。

ABSTRACT

We present a filter based approach for inbetweening. We train a convolutional neural network to generate intermediate frames. This network aim to generate smooth animation of line drawings. Our method can process scanned images directly. Our method does not need to compute correspondence of lines and topological changes explicitly. We experiment our method with real animation production data. The results show that our method can generate intermediate frames partially.

研究动机与目标

• 开发一种直接的、基于光栅的线稿补间方法，绕过显式线条匹配与拓扑变化建模。
• 实现在无需向量化或预处理输入的情况下，直接处理扫描动画帧。
• 通过双尺度CNN架构与空间加权损失函数，提升训练效率与输出质量。
• 在真实世界电视动画数据上评估该方法，包括扫描视频帧与赛璐珞帧。
• 探索在生产工作流中使用深度学习实现自动补间（仅需最少人工干预）的可行性。

提出的方法

• 采用双分支CNN：低分辨率网络用于特征提取，高分辨率网络用于输出优化。
• 使用3×3卷积层配合ReLU激活函数，并通过双线性上采样提升空间分辨率。
• 应用空间加权损失函数，强化线条附近区域的关注度，针对扫描帧与赛璐珞帧输入分别设计公式。
• 通过随机平移与旋转进行数据增强，以提升模型泛化能力与训练稳定性。
• 使用Adam优化器配合He初始化进行端到端训练，卷积前应用零填充。
• 通过级联推理生成中间帧：f_{i+1/2} = CNN(f_i, f_{i+1})，随后生成f_{i+1/4}与f_{i+3/4}以实现更高帧率输出。

实验结果

研究问题

• RQ1 深度学习模型是否能在不显式计算线条对应关系的情况下，为线稿生成合理的中间帧？
• RQ2 采用低分辨率与高分辨率双流结构的双分支CNN架构，在保留细节与降低计算负载方面效果如何？
• RQ3 空间加权损失函数在多大程度上提升了生成补间帧的感知质量？
• RQ4 通过随机平移与旋转进行数据增强，是否能提升模型在真实动画数据上的泛化能力？
• RQ5 当输入帧高度相似时，该方法在真实生产数据上的表现如何？

主要发现

• 当输入帧足够相似时，该方法能成功生成线稿的中间帧，但结果部分不完整。
• 对于扫描视频帧（1754×1240），该方法在测试片段上实现了4倍帧率提升，单个片段推理耗时1–2分钟。
• 采用空间加权损失函数后，模型对线条区域的关注度提升，减少了模糊，增强了结构保真度。
• 通过随机平移（δ=40）进行数据增强提升了模型鲁棒性，但初始视频实验中未使用旋转增强。
• 双尺度CNN架构在保持输出质量的同时降低了计算负载，训练在单张GTX TITAN X GPU上完成。
• 该方法在高帧率或慢动作动画制作中展现出潜力，但由于泛化能力与完整性方面的局限，尚不适合直接替代原始补间工作流。