[论文解读] Decouple Learning for Parameterized Image Operators

Qingnan Fan, Dongdong Chen+4 more|arXiv (Cornell University)|Jul 21, 2018

Image Enhancement Techniques被引用 7

一句话总结

本文提出了一种解耦学习框架，使单个深度神经网络能够针对去噪、超分辨率和平滑等图像算子中的各种参数设置，动态调整其权重。通过训练一个独立的权重学习网络，根据输入参数预测基础网络的权重，该方法在性能上可与单独训练的模型相媲美，同时实现了连续、交互式的参数控制。

ABSTRACT

Many different deep networks have been used to approximate, accelerate or improve traditional image operators, such as image smoothing, super-resolution and denoising. Among these traditional operators, many contain parameters which need to be tweaked to obtain the satisfactory results, which we refer to as "parameterized image operators". However, most existing deep networks trained for these operators are only designed for one specific parameter configuration, which does not meet the needs of real scenarios that usually require flexible parameters settings. To overcome this limitation, we propose a new decouple learning algorithm to learn from the operator parameters to dynamically adjust the weights of a deep network for image operators, denoted as the base network. The learned algorithm is formed as another network, namely the weight learning network, which can be end-to-end jointly trained with the base network. Experiments demonstrate that the proposed framework can be successfully applied to many traditional parameterized image operators. We provide more analysis to better understand the proposed framework, which may inspire more promising research in this direction. Our codes and models have been released in https://github.com/fqnchina/DecoupleLearning

研究动机与目标

• 解决现有深度学习模型仅针对图像算子中单一固定参数设置进行训练的局限性。
• 使单个模型能够在不重新训练或存储多个模型的情况下处理多种参数配置。
• 探究不同参数值下的学习权重是否可通过高维空间中的共享可学习变换相互关联。
• 提供一个统一框架，支持单一网络中的多种图像算子和多种参数。
• 通过可视化和分析学习权重空间，揭示训练网络内部工作机制的见解。

提出的方法

• 通过引入一个独立的权重学习网络，将任务导向的基础网络权重与其架构解耦。
• 使用共享损失函数，端到端训练基础网络和权重学习网络。
• 在权重学习网络中使用全连接层，为基础网络的每一层预测卷积核权重。
• 将权重预测建模为线性组合：$ W_i = \gamma_1 A_{i1} + \gamma_2 A_{i2} + B_i $，其中 $ \gamma_1 $ 和 $ \gamma_2 $ 为输入参数。
• 使用 t-SNE 可视化高维空间中学习权重的变换，确认不同参数设置之间存在线性关系。
• 在单一框架内实现多种图像算子和多种参数的联合训练。

实验结果

研究问题

• RQ1 能否训练单个深度网络，使其在参数化图像算子的多种参数设置下实现泛化？
• RQ2 能否通过输入参数的可学习函数动态预测基础网络的权重，从而避免为每种设置重新训练？
• RQ3 在不同参数值和算子之间，权重空间是否存在低维、结构化的表示？
• RQ4 与为单一固定参数配置训练的模型相比，所提出的框架在性能上表现如何？
• RQ5 学习到的权重空间能否揭示可解释的模式或关于基础网络行为的结构洞见？

主要发现

• 所提出的框架在多种图像算子（包括去噪、超分辨率和平滑）上实现了与为单一参数设置专门训练的模型相当的性能。
• 该框架支持推理过程中连续、实时的参数调整，支持交互式用户控制。
• t-SNE 可视化结果证实，不同参数值下的学习卷积权重在高维空间中沿线性轨迹分布，表明存在简单且结构化的变换关系。
• 该方法支持在单一模型中联合学习多种图像算子和多种参数，展现出强大的泛化能力和可扩展性。
• 权重空间分析表明，不同算子和参数值被映射到一个受约束且可解释的子空间中，暗示任务之间存在共享的归纳偏置。
• 该框架通过消除对不同参数值重新训练或存储多个模型的需求，显著降低了存储和训练成本。