[论文解读] AdaDM: Enabling Normalization for Image Super-Resolution

Jie Liu, Jie Tang+1 more|arXiv (Cornell University)|Nov 27, 2021

Advanced Image Processing Techniques参考文献 39被引用 7

一句话总结

本文提出AdaDM，一种新型自适应偏差调制器，通过自适应放大特征标准差，使批量归一化（BN）能够在图像超分（SR）网络中使用，从而抵消BN使像素差异减小、边缘模糊的倾向。借助AdaDM，EDSR*、RDN*和NLSN*等当前最先进SR模型在Urban100 ×4上实现显著的PSNR提升（例如+0.15–0.30 dB），同时受益于BN带来的训练稳定性和泛化能力。

ABSTRACT

Normalization like Batch Normalization (BN) is a milestone technique to normalize the distributions of intermediate layers in deep learning, enabling faster training and better generalization accuracy. However, in fidelity image Super-Resolution (SR), it is believed that normalization layers get rid of range flexibility by normalizing the features and they are simply removed from modern SR networks. In this paper, we study this phenomenon quantitatively and qualitatively. We found that the standard deviation of the residual feature shrinks a lot after normalization layers, which causes the performance degradation in SR networks. Standard deviation reflects the amount of variation of pixel values. When the variation becomes smaller, the edges will become less discriminative for the network to resolve. To address this problem, we propose an Adaptive Deviation Modulator (AdaDM), in which a modulation factor is adaptively predicted to amplify the pixel deviation. For better generalization performance, we apply BN in state-of-the-art SR networks with the proposed AdaDM. Meanwhile, the deviation amplification strategy in AdaDM makes the edge information in the feature more distinguishable. As a consequence, SR networks with BN and our AdaDM can get substantial performance improvements on benchmark datasets. Extensive experiments have been conducted to show the effectiveness of our method.

研究动机与目标

• 探究为何批量归一化（BN）在图像超分网络中会降低性能。
• 解决BN降低特征标准差的问题，从而削弱边缘可区分性并导致重建图像更模糊。
• 开发一种机制，在保留BN训练优势的同时恢复有用的像素差异。
• 在不损失性能的前提下，使BN可在深层SR网络中使用，尤其在高保真度设置下。
• 证明BN + AdaDM可提升多种当前最先进SR架构的泛化能力和性能。

提出的方法

• 提出AdaDM，一种可学习的调制模块，用于预测缩放因子，以放大BN后残差特征的标准差。
• 在EDSR、RDN和NLSN的残差块中BN层后集成AdaDM，形成EDSR*、RDN*和NLSN*。
• 在AdaDM中使用可学习仿射变换，自适应地缩放特征图的标准差，以保留边缘信息。
• 采用标准优化协议进行训练，利用BN实现更快收敛和更好泛化。
• 应用自集成推理以进一步提升性能，尤其在具有挑战性的基准上。
• 在DIV2K和DF2K数据集上进行训练和评估，以评估模型的鲁棒性和可扩展性。

实验结果

研究问题

• RQ1 为何尽管BN在其他视觉任务中表现良好，它在图像超分网络中仍会降低性能？
• RQ2 BN如何影响残差特征的标准差？这种影响对边缘重建有何影响？
• RQ3 是否可以在不移除归一化的情况下，逆转BN对特征差异的负面影响？
• RQ4 可学习的调制机制能否在保留BN训练优势的同时，恢复具有区分度的边缘特征？
• RQ5 所提出的AdaDM是否能使BN在深层、高保真度SR网络中提升性能？

主要发现

• EDSR*在Urban100 ×4上达到33.83 dB的PSNR，相比原始EDSR提升+0.30 dB。
• RDN*和NLSN*在AdaDM加持下，在所有基准上均表现出一致的PSNR增益，其中NLSN*在Set5 ×2上通过自集成达到38.50/0.9624的PSNR/SSIM。
• 在DF2K数据集上训练的NLSN*模型在Set5 ×3上达到35.04/0.9322的PSNR/SSIM，优于原始NLSN，且与SwinIR性能相当。
• AdaDM使BN对训练RGB范围变化具有鲁棒性，EDSR*在不同输入分布下均保持一致性能。
• 视觉结果表明，AdaDM显著提升了边缘锐度和纹理细节，尤其在头发和织物等复杂区域表现突出。
• SwinIR+（基于Transformer的模型）性能与NLSN*+相当，表明AdaDM使CNN模型能够达到当前最先进Transformer模型的水平。