[论文解读] Interactive Multi-Dimension Modulation with Dynamic Controllable Residual Learning for Image Restoration

Jingwen He, Chao Dong+1 more|arXiv (Cornell University)|Dec 11, 2019

Advanced Image Processing Techniques参考文献 25被引用 15

一句话总结

本文提出了一种用于图像恢复的新型多维（MD）调制框架，可同时实现对多种退化类型（如模糊、噪声、压缩）的交互式控制。提出CResMD，一种具有动态可控制残差学习的深度架构，通过在残差连接上引入可学习加权机制，实现在零退化水平下的恒等映射，并通过基于β-分布的采样策略改善不同退化水平间的损失平衡，从而在单维与多维调制任务中均达到最先进性能。

ABSTRACT

Interactive image restoration aims to generate restored images by adjusting a controlling coefficient which determines the restoration level. Previous works are restricted in modulating image with a single coefficient. However, real images always contain multiple types of degradation, which cannot be well determined by one coefficient. To make a step forward, this paper presents a new problem setup, called multi-dimension (MD) modulation, which aims at modulating output effects across multiple degradation types and levels. Compared with the previous single-dimension (SD) modulation, the MD is setup to handle multiple degradations adaptively and relief unbalanced learning problem in different degradations. We also propose a deep architecture - CResMD with newly introduced controllable residual connections for multi-dimension modulation. Specifically, we add a controlling variable on the conventional residual connection to allow a weighted summation of input and residual. The values of these weights are generated by another condition network. We further propose a new data sampling strategy based on beta distribution to balance different degradation types and levels. With corrupted image and degradation information as inputs, the network can output the corresponding restored image. By tweaking the condition vector, users can control the output effects in MD space at test time. Extensive experiments demonstrate that the proposed CResMD achieve excellent performance on both SD and MD modulation tasks. Code is available at https://github.com/hejingwenhejingwen/CResMD.

研究动机与目标

• 为解决单维（SD）调制的局限性（即仅假设一种退化类型），提出一种新的多维（MD）调制问题设置，可同时处理多种退化类型和水平。
• 解决MD调制中的学习不平衡问题，即像素级损失在不同退化类型和水平间差异显著，尤其在接近零退化点时更为明显。
• 通过重新设计带有可学习权重的残差连接，实现零起点行为（即无退化时的恒等映射），以支持无退化输入下的自然输出。
• 通过基于β-分布的新型数据采样策略，提升在多样化退化组合下的泛化能力与性能，该策略倾向于轻微退化。
• 通过将框架扩展至包含模糊、噪声和JPEG压缩的3D调制，展示其灵活性与可扩展性。

提出的方法

• 提出动态可控制残差连接：输出 = 输入 + 残差 × α，其中α为由条件网络生成的可学习权重，实现自适应残差加权。
• 引入条件网络，根据控制向量生成权重因子α，实现在推理阶段对恢复效果的交互式调制。
• 设计基于β-分布的数据采样策略，以平衡不同退化水平和类型的数据分布，尤其提高轻微退化区域的采样密度，缓解损失不平衡问题。
• 采用轻量化网络架构，结合全局与局部残差连接，实现在零退化输入下实现恒等映射（α=0）。
• 通过增加控制向量的维度，将框架扩展至更高维度（如3D），同时保持网络结构与训练方式不变。
• 采用端到端训练方式，以受损图像和退化条件向量作为输入，生成可由控制向量交互调整的恢复图像。

实验结果

研究问题

• RQ1 深度学习框架是否能在推理阶段实现对多种图像退化类型（如模糊、噪声、压缩）的交互式多维控制？
• RQ2 当无退化存在时，模型如何保持恒等映射（即无变化），尤其是在标准残差网络中存在信息损失的情况下？
• RQ3 何种训练策略能有效平衡多样化退化水平和类型之间的损失，防止模型偏向高损失的严重退化？
• RQ4 所提方法是否能泛化至更高维调制（如包含三种退化类型的3D调制），同时保持高恢复精度？
• RQ5 在标准与多维调制场景下，该模型与单维基线相比性能如何？

主要发现

• 在LIVE1数据集上，采用最优采样策略（α=0.5, β=1.0）时，CResMD框架相比均匀采样实现+0.28 dB的PSNR提升，且在大多数退化水平下保持稳定增益。
• 与均匀采样相比，该方法在轻微退化情况下的PSNR退化降低最多达0.19 dB，证明了损失平衡的有效性。
• 在包含模糊、噪声和JPEG压缩的3D调制中，期望与实际调制结果之间的平均PSNR距离低于0.3 dB，表明调制精度极高。
• 通过将α设为0，模型在零退化水平下保持恒等映射，这对实现无退化时的自然输出至关重要。
• 该框架在高维场景下具有良好泛化能力：3D调制通过极少的架构修改成功实现，展现出对复杂度增加的鲁棒性。
• 与单维基线相比，CResMD在SD与MD任务中均取得更优性能，证实了其有效性与通用性。