[论文解读] A General Decoupled Learning Framework for Parameterized Image Operators

Qingnan Fan, Dongdong Chen+4 more|arXiv (Cornell University)|Jul 11, 2019

Advanced Image Processing Techniques参考文献 40被引用 7

一句话总结

本文提出了一种解耦学习框架，使单个深度神经网络能够动态调整其权重，以适应图像算子（如滤波、去噪和超分辨率）中的各种参数设置。通过训练一个轻量级权重学习网络，根据输入参数预测基础网络的权重，该框架实现了最先进的性能，并通过逐层权重自适应实现高效、实时的参数调节。

ABSTRACT

Many different deep networks have been used to approximate, accelerate or improve traditional image operators. Among these traditional operators, many contain parameters which need to be tweaked to obtain the satisfactory results, which we refer to as parameterized image operators. However, most existing deep networks trained for these operators are only designed for one specific parameter configuration, which does not meet the needs of real scenarios that usually require flexible parameters settings. To overcome this limitation, we propose a new decoupled learning algorithm to learn from the operator parameters to dynamically adjust the weights of a deep network for image operators, denoted as the base network. The learned algorithm is formed as another network, namely the weight learning network, which can be end-to-end jointly trained with the base network. Experiments demonstrate that the proposed framework can be successfully applied to many traditional parameterized image operators. To accelerate the parameter tuning for practical scenarios, the proposed framework can be further extended to dynamically change the weights of only one single layer of the base network while sharing most computation cost. We demonstrate that this cheap parameter-tuning extension of the proposed decoupled learning framework even outperforms the state-of-the-art alternative approaches.

研究动机与目标

• 解决现有深度学习模型仅针对图像算子中单一固定参数设置进行训练的局限性。
• 使单个神经网络能够自适应地为不同参数配置生成不同输出，而无需重新训练。
• 开发一种高效、实时的参数调节机制，通过仅更新一个网络层来降低计算成本。
• 提供一个统一框架，能够处理多种图像处理任务，并共享参数化算子。
• 通过可视化学习到的权重-参数关系，实现可解释性。

提出的方法

• 通过引入一个独立的权重学习网络，将基础网络的权重与其架构解耦，该网络基于输入参数预测卷积权重。
• 使用共享损失函数对基础网络和权重学习网络进行端到端训练，该损失函数针对图像质量度量（如PSNR）进行优化。
• 采用全连接层作为权重学习网络，将输入参数映射到卷积核权重，实现在未见参数值上的线性插值。
• 将框架扩展为在推理过程中仅更新单一层的权重，显著降低计算成本，同时保持高性能。
• 使用参数化卷积操作，其中卷积核权重表示为学习到的基核的线性组合，权重由输入参数决定。
• 将该框架应用于多种图像算子，包括边缘保持滤波、超分辨率和去噪，采用共享架构并实现动态参数控制。

实验结果

研究问题

• RQ1 深度学习模型是否能够在不重新训练的情况下，泛化到参数化图像算子的多个参数设置？
• RQ2 一个轻量级、可微分的网络是否能够动态预测基础网络权重，以实现实时参数自适应？
• RQ3 在参数值之间对权重进行线性插值，是否能为未见参数设置生成高质量结果？
• RQ4 一种仅更新单一层的参数调节机制，其性能是否可与全网络重新计算相媲美？
• RQ5 该框架是否可扩展至联合学习多个图像处理任务，并共享参数化算子？

主要发现

• 所提出的框架即使在泛化到多个配置时，性能仍可与为单一参数值专门训练的网络相媲美。
• 该框架展现出强大的泛化能力，通过权重空间中的线性插值，可为未见参数值生成高质量结果。
• 低成本的参数调节扩展方法——仅更新单一层——在PSNR和视觉质量方面均大幅优于当前最先进方法。
• 权重学习网络中仅使用一个全连接层即可达到最优性能，表明增加复杂度无法进一步提升结果。
• 对学习到的权重进行可视化揭示了可解释的模式，为理解基础网络在不同参数设置下的内部工作机制提供了洞见。
• 该框架支持使用单一共享架构联合学习多个图像处理任务，展现出强大的可扩展性。