[论文解读] AdderSR: Towards Energy Efficient Image Super-Resolution

Dehua Song, Yunhe Wang+4 more|arXiv (Cornell University)|Sep 18, 2020

Advanced Image Processing Techniques参考文献 40被引用 8

一句话总结

该论文提出 AdderSR，一种能效更高的图像超分框架，通过用加法网络替代传统卷积层，显著降低能耗。通过引入残差捷径和可学习的幂激活函数，AdderSR 克服了加法网络在学习恒等映射和高通滤波方面的能力局限，实现与 CNN 基线相当的 PSNR 性能，同时在标准基准上将能耗降低约 2.5 倍。

ABSTRACT

This paper studies the single image super-resolution problem using adder neural networks (AdderNet). Compared with convolutional neural networks, AdderNet utilizing additions to calculate the output features thus avoid massive energy consumptions of conventional multiplications. However, it is very hard to directly inherit the existing success of AdderNet on large-scale image classification to the image super-resolution task due to the different calculation paradigm. Specifically, the adder operation cannot easily learn the identity mapping, which is essential for image processing tasks. In addition, the functionality of high-pass filters cannot be ensured by AdderNet. To this end, we thoroughly analyze the relationship between an adder operation and the identity mapping and insert shortcuts to enhance the performance of SR models using adder networks. Then, we develop a learnable power activation for adjusting the feature distribution and refining details. Experiments conducted on several benchmark models and datasets demonstrate that, our image super-resolution models using AdderNet can achieve comparable performance and visual quality to that of their CNN baselines with an about 2$ imes$ reduction on the energy consumption.

研究动机与目标

• 为解决深度卷积神经网络（CNNs）在移动设备上进行单图像超分（SISR）时能耗过高的问题。
• 将使用加法而非乘法的加法神经网络（AdderNets）适配至 SISR 任务，该类网络因恒等映射和高通滤波逼近能力差而传统上表现不佳。
• 开发架构改进方法，使 AdderNets 在 SISR 中保持高视觉质量与性能，达到与 CNN 基线相当的水平。
• 在真实移动应用场景中展示显著的能耗降低，同时不牺牲重建质量。

提出的方法

• 引入残差捷径（自捷径）以帮助加法网络学习恒等映射，这对图像恢复任务至关重要。
• 提出一种可学习的幂激活函数，以优化特征分布并增强细节恢复，从而改善高通滤波行为的逼近效果。
• 将 SISR 模型（如 EDSR、CARN）中的所有卷积层替换为加法滤波器，同时保持原始网络架构不变。
• 使用 32 位浮点精度表示权重和激活值，能耗模型设定为每次加法 0.9 pJ，每次乘法 3.7 pJ。
• 结合滤波器剪枝与权重量化/激活量化（如 int8）进一步降低 AdderNets 的能耗。
• 在标准 SISR 基准（如 Urban100、DIV80）上训练并评估 AdderSR 模型，使用 PSNR 和视觉质量指标进行评估。

实验结果

研究问题

• RQ1 加法网络能否在不降低性能的前提下有效替代图像超分中的卷积层？
• RQ2 为何标准 AdderNets 在 SISR 中难以学习恒等映射与高通滤波？这些局限性如何解决？
• RQ3 通过用加法替代乘法，SISR 模型的能耗可降低多少？
• RQ4 所提出的改进措施（捷径与可学习激活）能否使 AdderNets 达到与基于 CNN 的 SISR 模型相当的 PSNR 与视觉质量？
• RQ5 AdderSR 在移动平台上的能效权衡与当前最先进 SISR 模型相比如何？

主要发现

• 在 Urban100 数据集上，AdderSR 在 ×2、×3 和 ×4 超分任务中的 PSNR 值与对应 CNN 模型相差不超过 0.2 dB。
• 在处理 1280×720 图像时，AdderSR 模型相比等效的基于 CNN 的 SISR 模型能耗降低约 2.5 倍。
• 在 int8 量化下，能耗降低进一步提升至约 3.8 倍，同时性能保持相当。
• A-CARN（基于 AdderNet 的 CARN）在 Urban100 上达到 31.74 dB 的 PSNR，优于能量成本相近的剪枝版 CARN-2/3（31.35 dB），能耗为 404G pJ。
• 1280×720 图像的能耗从 EDSR-CNN 的 42.5T pJ 降低至 EDSR-ANN 的 16.7T pJ，实现 2.5 倍的降低。
• 视觉质量评估表明，AdderSR 输出与 CNN 基线在视觉上难以区分，细节恢复更优，模糊更少。