[论文解读] Multi-Dimension Modulation for Image Restoration with Dynamic Controllable Residual Learning.

Jingwen He, Chao Dong+1 more|arXiv (Cornell University)|Dec 11, 2019

Advanced Image Processing Techniques参考文献 15被引用 7

一句话总结

本文提出CResMD，一种用于图像复原的新型多维度（MD）调制框架，可在多种退化类型和程度上实现对复原效果的动态、连续控制。通过引入带有条件网络和基于Beta分布的采样策略的可控制残差连接，CResMD在单维度与多维度调制任务中均表现出优越性能，实现在推理阶段用户驱动的细粒度复原控制。

ABSTRACT

Based on the great success of deterministic learning, to interactively control the output effects has attracted increasingly attention in the image restoration field. The goal is to generate continuous restored images by adjusting a controlling coefficient. Existing methods are restricted in realizing smooth transition between two objectives, while the real input images may contain different kinds of degradations. To make a step forward, we present a new problem called multi-dimension (MD) modulation, which aims at modulating output effects across multiple degradation types and levels. Compared with the previous single-dimension (SD) modulation, the MD task has three distinct properties, namely joint modulation, zero starting point and unbalanced learning. These obstacles motivate us to propose the first MD modulation framework -- CResMD with newly introduced controllable residual connections. Specifically, we add a controlling variable on the conventional residual connection to allow a weighted summation of input and residual. The exact values of these weights are generated by a condition network. We further propose a new data sampling strategy based on beta distribution to balance different degradation types and levels. With the corrupted image and the degradation information as inputs, the network could output the corresponding restored image. By tweaking the condition vector, users are free to control the output effects in MD space at test time. Extensive experiments demonstrate that the proposed CResMD could achieve excellent performance on both SD and MD modulation tasks.

研究动机与目标

• 为了解决现有单维度（SD）调制方法无法平滑处理多种退化类型和程度的局限性。
• 提出一种新的问题设定——多维度（MD）调制，实现对多种退化类型和强度的联合控制。
• 设计一个统一框架，实现在推理时于多维空间中连续、用户可控的复原效果。
• 克服MD调制中的挑战，包括退化类型间学习不平衡问题以及控制空间中零起点的需求。
• 设计一种数据采样策略，以在训练过程中均衡各类退化类型和程度的分布。

提出的方法

• 通过在残差映射中引入控制变量，实现可控制残差连接，支持输入特征与残差特征的加权求和。
• 使用条件网络基于退化类型和程度生成控制权重，实现在推理过程中的动态调制。
• 提出一种基于Beta分布的数据采样策略，以在训练过程中均衡各类退化类型和程度的分布。
• 以带噪声的图像和退化信息作为输入进行网络训练，输出为对应的复原图像。
• 通过修改条件向量实现推理时的控制，从而在多个维度上引导复原输出。
• 将联合调制、零起点和学习不平衡问题的考虑整合进网络设计与训练协议中。

实验结果

研究问题

• RQ1 深度学习框架能否在多种退化类型和程度上实现对图像复原效果的平滑且连续的控制？
• RQ2 如何设计统一的网络架构，以有效支持单维度与多维度调制任务？
• RQ3 在MD调制中，哪种数据采样策略能最佳均衡多样化退化类型和强度的训练分布？
• RQ4 可控制残差连接如何实现在推理阶段MD空间中的精确、用户驱动的控制？
• RQ5 为满足MD调制的三个独特属性——联合调制、零起点和学习不平衡——所需的架构与训练关键组件是什么？

主要发现

• CResMD在图像复原的单维度与多维度调制任务中均达到最先进性能。
• 所提出的基于Beta分布的采样策略能有效均衡多样化退化类型和程度的训练数据分布。
• 可控制残差连接通过在推理时调整条件向量，实现了对复原效果的细粒度、连续控制。
• 该框架成功支持多维退化维度的联合调制，实现了不同复原结果之间的平滑过渡。
• 零起点属性得以保持，确保所有控制配置下具有一致的基线行为。
• 大量实验表明，CResMD能良好泛化至未见过的退化组合，并保持高复原质量。