[论文解读] BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature Fusion for Deep Exemplar-based Video Colorization

Yixin Yang, Zhongzheng Peng+4 more|arXiv (Cornell University)|Dec 5, 2022

melanin and skin pigmentation被引用 4

一句话总结

BiSTNet 提出了一种基于语义图像先验引导的双向时间特征融合网络，用于样本驱动的视频着色，通过利用深度语义对应关系和多尺度循环架构，提升着色传播效果并减少伪影。通过整合语义引导与双向时间融合，该方法在基准数据集上实现了最先进性能，显著提升了帧级准确率与时间一致性。

ABSTRACT

How to effectively explore the colors of reference exemplars and propagate them to colorize each frame is vital for exemplar-based video colorization. In this paper, we present an effective BiSTNet to explore colors of reference exemplars and utilize them to help video colorization by a bidirectional temporal feature fusion with the guidance of semantic image prior. We first establish the semantic correspondence between each frame and the reference exemplars in deep feature space to explore color information from reference exemplars. Then, to better propagate the colors of reference exemplars into each frame and avoid the inaccurate matches colors from exemplars we develop a simple yet effective bidirectional temporal feature fusion module to better colorize each frame. We note that there usually exist color-bleeding artifacts around the boundaries of the important objects in videos. To overcome this problem, we further develop a mixed expert block to extract semantic information for modeling the object boundaries of frames so that the semantic image prior can better guide the colorization process for better performance. In addition, we develop a multi-scale recurrent block to progressively colorize frames in a coarse-to-fine manner. Extensive experimental results demonstrate that the proposed BiSTNet performs favorably against state-of-the-art methods on the benchmark datasets. Our code will be made available at \url{https://yyang181.github.io/BiSTNet/}

研究动机与目标

• 解决样本驱动视频着色中的时间不一致性和色彩渗色伪影问题。
• 通过在深度特征空间中利用语义对应关系，有效从参考样本中迁移颜色，提升帧级着色准确率。
• 通过双向时间特征融合降低参考样本中不准确颜色匹配的影响。
• 通过建模对象语义与边缘信息，提升边界感知着色效果。
• 通过多尺度循环模块，以粗到精的渐进方式优化着色质量。

提出的方法

• 在深度特征空间中建立输入帧与参考样本之间的语义对应关系，以传递相关颜色信息。
• 引入双向时间特征融合模块（BTFB），聚合前后两个时间方向的特征，以抑制不准确的颜色传播。
• 采用混合专家模块（MEB），融合语义分割图与边缘图，以在物体边界处引导着色并减少色彩渗色。
• 利用多尺度循环模块（MSRB），从粗到精逐步优化着色，提升局部与全局的颜色一致性。
• 结合边缘损失与难例挖掘损失，增强边界保真度，并提升对复杂区域的鲁棒性。
• 采用端到端训练策略，结合L1损失、感知损失与对抗损失，生成高质量、自然的着色结果。

实验结果

研究问题

• RQ1 双向时间特征融合是否能有效降低样本中不准确颜色匹配对视频着色的影响？
• RQ2 引入语义图像先验在提升边界感知着色与减少色彩渗色伪影方面有何作用？
• RQ3 粗到精的多尺度循环架构在多大程度上提升了帧级着色质量与时间一致性？
• RQ4 与当前最先进样本驱动及自动视频着色方法相比，所提方法的性能表现如何？
• RQ5 在复杂真实场景中，使用两个参考样本是否优于单个参考帧？

主要发现

• BiSTNet 在 DAVIS 基准数据集上达到最先进性能，无论在定量指标还是视觉质量上，均优于现有样本驱动与自动着色方法。
• 消融实验证实，若移除双向时间融合模块，性能显著下降，证明其在抑制不准确颜色传播方面的有效性。
• 混合专家模块有效减少色彩渗色伪影：移除语义或边缘掩码后，出现严重色彩泄漏（如T恤颜色蔓延至手臂）；而完整MEB可实现精准的边界着色。
• 多尺度循环模块提升全局颜色一致性；若无该模块，则出现颜色污染现象（如屋顶颜色渗入围栏），而MSRB可有效缓解此问题。
• 边缘损失与难例挖掘损失对性能有显著贡献；若移除，边界保真度与整体质量均出现明显退化。
• 使用两个参考样本的性能优于单个参考帧，尽管单参考基线方法仍优于以往最先进方法。