[论文解读] Deep Network Interpolation for Continuous Imagery Effect Transition

Xintao Wang, Ke Yu+3 more|arXiv (Cornell University)|Nov 26, 2018

Advanced Image Processing Techniques参考文献 37被引用 4

一句话总结

本文提出深度网络插值（DNI），一种简单而通用的方法，通过线性插值两个或多个预训练的、相关联的深度神经网络的参数，在不同图像效果（如超分辨率、风格迁移和图像修复）之间实现平滑、连续的过渡。该方法无需微调即可实现对输出效果的细粒度、实时控制，在视觉质量和灵活性方面优于像素级插值和现有的特定任务设计。

ABSTRACT

Deep convolutional neural network has demonstrated its capability of learning a deterministic mapping for the desired imagery effect. However, the large variety of user flavors motivates the possibility of continuous transition among different output effects. Unlike existing methods that require a specific design to achieve one particular transition (e.g., style transfer), we propose a simple yet universal approach to attain a smooth control of diverse imagery effects in many low-level vision tasks, including image restoration, image-to-image translation, and style transfer. Specifically, our method, namely Deep Network Interpolation (DNI), applies linear interpolation in the parameter space of two or more correlated networks. A smooth control of imagery effects can be achieved by tweaking the interpolation coefficients. In addition to DNI and its broad applications, we also investigate the mechanism of network interpolation from the perspective of learned filters.

研究动机与目标

• 解决确定性深度网络仅生成单一固定输出的局限性，该局限性无法适应多样的用户偏好或不同的修复强度。
• 在无需任务特定架构修改的情况下，实现不同图像效果（如超分辨率中的MSE与GAN、白天与夜晚照片）之间连续、平滑的过渡。
• 提供一种可泛化的轻量化解决方案，通过插值系数控制图像效果，适用于低层次视觉任务。
• 探究参数空间插值与像素级插值及基于实例归一化的插值方法在有效性及其内在机制上的对比。

提出的方法

• DNI 在两个预训练的、相关联的深度神经网络的参数空间中执行线性插值——一个用于效果A，另一个为效果B微调后的模型。
• 插值系数 α ∈ [0,1] 控制混合程度：θ_interpolated = α·θ_A + (1−α)·θ_B，其中 θ_A 和 θ_B 分别为两个网络的模型参数。
• 插值后的模型用于推理，使用相同输入生成效果A与B之间的连续过渡，无需额外训练。
• 该方法兼容标准架构（如VGG、ResNet和DenseNet），无需架构修改或为每次插值重新训练。
• 仅需一次微调即可将基础模型适配至新效果，从而实现原始模型与微调后模型之间的插值。
• 该方法在超分辨率、图像到图像翻译、风格迁移和语义属性迁移任务中均进行了评估，展现出广泛的适用性。

实验结果

研究问题

• RQ1 在预训练深度网络的参数空间中进行线性插值，能否实现不同图像效果之间平滑且视觉上可信的过渡？
• RQ2 与像素级插值和基于实例归一化的插值相比，DNI在视觉质量与伪影抑制方面表现如何？
• RQ3 DNI在不同低层次视觉任务（包括图像修复、风格迁移和语义属性操作）中的泛化能力如何？
• RQ4 与实例归一化参数相比，卷积层参数在风格与纹理迁移中起到何种作用？

主要发现

• DNI 实现了图像效果（如MSE与基于GAN的超分辨率）之间平滑、连续的过渡，无突变或视觉伪影。
• DNI 优于像素级插值，后者在物体边界处产生不自然的鬼影伪影。
• 同时微调卷积层和实例归一化层，相比仅微调实例归一化层，能实现更优的纹理迁移效果，表明卷积特征在风格建模中具有关键作用。
• 即使不存在中间训练数据，DNI 也能在人脸属性（如年轻到年老、男性到女性）之间实现平滑的语义过渡，生成自然的中间人脸图像。
• 该方法计算效率高，无需为每次插值重新训练，且通过单一插值系数支持实时控制。
• DNI 具备跨任务泛化能力：成功实现了景深控制、昼夜照片转换以及图像风格迁移中的多风格混合的连续过渡。