[论文解读] Efficient Super Resolution Using Binarized Neural Network

Yinglan Ma, Hongyu Xiong+2 more|arXiv (Cornell University)|Dec 16, 2018

Advanced Image Processing Techniques被引用 5

一句话总结

本文提出了一种用于超分辨率（SR）网络的新型二值化策略，仅对残差块应用二值权重，同时引入可学习的缩放因子，实现了高达80%的模型尺寸压缩和5倍的推理速度提升，同时图像质量损失极小。该方法通过选择性地对关键组件进行二值化，保留了像素级精度，从而实现了在移动设备和边缘设备上高效部署最先进SR模型的目标。

ABSTRACT

Deep convolutional neural networks (DCNNs) have recently demonstrated high-quality results in single-image super-resolution (SR). DCNNs often suffer from over-parametrization and large amounts of redundancy, which results in inefficient inference and high memory usage, preventing massive applications on mobile devices. As a way to significantly reduce model size and computation time, binarized neural network has only been shown to excel on semantic-level tasks such as image classification and recognition. However, little effort of network quantization has been spent on image enhancement tasks like SR, as network quantization is usually assumed to sacrifice pixel-level accuracy. In this work, we explore an network-binarization approach for SR tasks without sacrificing much reconstruction accuracy. To achieve this, we binarize the convolutional filters in only residual blocks, and adopt a learnable weight for each binary filter. We evaluate this idea on several state-of-the-art DCNN-based architectures, and show that binarized SR networks achieve comparable qualitative and quantitative results as their real-weight counterparts. Moreover, the proposed binarized strategy could help reduce model size by 80% when applying on SRResNet, and could potentially speed up inference by 5 times.

研究动机与目标

• 为解决深度卷积神经网络（DCNNs）在单图像超分辨率（SR）任务中效率低下和内存占用过高的问题。
• 探究网络二值化——此前仅在语义任务中有效——是否可应用于像素级图像增强任务（如SR），且不牺牲重建精度。
• 设计一种选择性二值化策略，仅对残差块进行处理并引入可学习的缩放因子，以保留超分辨率中的高频细节。
• 通过减小模型尺寸和计算成本，实现高性能SR模型在移动和边缘设备上的实际部署。

提出的方法

• 仅对残差块内的卷积滤波器进行二值化，而非整个网络，以在保持性能的同时降低复杂度。
• 为每个二值滤波器引入可学习的标量权重，以保持表征能力并缓解精度损失。
• 将该二值化策略应用于最先进的SR架构（如SRResNet、SRGAN和LapSRN）以评估其泛化能力。
• 在推理过程中使用位运算替代浮点乘法，显著降低计算成本。
• 利用梯度统计特性和残差块结构，证明选择性二值化方法的合理性，聚焦于最有助于高频细节恢复的组件。
• 通过标准基准（Set5、Set14）进行用户研究和定量评估，比较二值化模型与真实权重模型的性能。

实验结果

研究问题

• RQ1 网络二值化是否可有效应用于像素级图像恢复任务（如超分辨率），而不会导致显著的精度下降？
• RQ2 仅对残差块进行二值化而非整个网络，是否可行实现SR网络的显著模型压缩和速度提升？
• RQ3 为每个二值滤波器引入可学习缩放因子，对二值化SR模型的重建质量有何影响？
• RQ4 二值化SR网络在感知质量和定量指标上，与全精度模型相比，性能保持程度如何？

主要发现

• 所提出的二值化策略在SRResNet上应用时，模型尺寸最大可减少80%，显著提升存储效率。
• 由于将浮点乘法替换为位运算，SRResNet(2x)模型的推理速度最高可提升5倍。
• 用户研究表明，二值化网络与真实权重网络在感知质量上无显著差异，且在2×和4×超分任务中，50–60%的用户更偏好二值化结果。
• PSNR和SSIM等定量指标在二值化模型与全精度模型之间保持相近，证实精度损失极小。
• 该方法在多种架构（包括SRResNet、SRGAN和LapSRN）上均表现良好，展现出强大的泛化潜力。
• 仅对残差块进行二值化即可有效保留高频细节，梯度直方图分析和不同放大倍数下的性能稳定性均支持此结论。