[论文解读] Arbitrary Video Style Transfer via Multi-Channel Correlation

Yingying Deng, Fan Tang+4 more|arXiv (Cornell University)|Sep 17, 2020

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

本文提出MCCNet，一种基于帧的视频风格迁移方法，通过内容与风格特征之间的多通道相关性实现无需光流的时序一致风格迁移。通过将特征对齐至输入内容并引入光照损失，MCCNet生成了稳定、高质量的风格化视频，具有鲜明的纹理和保留的内容结构，在定量指标和用户研究中均优于现有方法。

ABSTRACT

Video style transfer is getting more attention in AI community for its numerous applications such as augmented reality and animation productions. Compared with traditional image style transfer, performing this task on video presents new challenges: how to effectively generate satisfactory stylized results for any specified style, and maintain temporal coherence across frames at the same time. Towards this end, we propose Multi-Channel Correction network (MCCNet), which can be trained to fuse the exemplar style features and input content features for efficient style transfer while naturally maintaining the coherence of input videos. Specifically, MCCNet works directly on the feature space of style and content domain where it learns to rearrange and fuse style features based on their similarity with content features. The outputs generated by MCC are features containing the desired style patterns which can further be decoded into images with vivid style textures. Moreover, MCCNet is also designed to explicitly align the features to input which ensures the output maintains the content structures as well as the temporal continuity. To further improve the performance of MCCNet under complex light conditions, we also introduce the illumination loss during training. Qualitative and quantitative evaluations demonstrate that MCCNet performs well in both arbitrary video and image style transfer tasks.

研究动机与目标

• 解决由于帧间时间不一致导致的视频风格迁移中的闪烁与不稳定性问题。
• 实现在无需依赖光流的情况下，对任意内容视频与风格图像进行任意风格迁移。
• 在确保时序一致性的前提下，保持强内容结构与鲜明的风格模式。
• 通过新颖的光照损失提升在复杂光照条件下的鲁棒性。
• 开发一种轻量级、基于帧的方法，避免光流或端到端视频模型的复杂性。

提出的方法

• MCCNet直接在内容图像与风格图像的特征图上操作，通过计算多通道相关性将风格特征与内容结构对齐。
• 网络学习根据风格特征与内容特征的相似性重新排列并融合风格特征，生成保留内容布局的风格化特征。
• 显式强制特征对齐，以确保帧间内容微小变化不会导致输出出现闪烁。
• 通过在训练过程中向内容特征添加随机高斯噪声来引入光照损失，以模拟光照变化并提升鲁棒性。
• 解码器网络设计具有足够的深度，以生成丰富的风格化图案，同时保持时序一致性。
• 该方法通过感知损失与重建损失进行端到端训练，无需光流或掩码估计。

实验结果

研究问题

• RQ1 内容与风格特征之间的多通道相关性是否能在无光流的情况下提升视频风格迁移的时序一致性？
• RQ2 将特征对齐至输入内容在风格化视频序列中的闪烁与稳定性方面有何影响？
• RQ3 光照损失在多大程度上提升了视频风格迁移在不同光照条件下的鲁棒性？
• RQ4 基于帧的方法能否在风格化质量与时序一致性方面达到与光流或端到端视频模型相当的性能？
• RQ5 解码器网络的深度在多大程度上影响风格化图案的丰富性与时序一致性？

主要发现

• MCCNet在风格化视频中相邻帧之间的均值差异（0.0189）与方差（0.0007）最低，时序一致性优于SOTA方法。
• 消融实验证实多通道相关性至关重要——若无此机制，风格化结果将丢失关键风格模式并保留原始颜色分布。
• 若移除光照损失，帧间均值差异上升至0.0317，证明其在应对光照变化中的关键作用。
• 更深的解码器（至relu4-1）生成的风格化图案比浅层解码器（至relu3-1）更鲜明，尤其在头发或圆形等复杂纹理中表现更优。
• 50名参与者、共700票的用户研究表明，MCCNet在风格化质量与视频稳定性方面均优于SOTA方法。
• 该方法在多种风格与内容领域中均保持高性能，包括Sintel视频序列与多样化图像风格，且帧间结果保持一致。