[论文解读] Basic Binary Convolution Unit for Binarized Image Restoration Network

Bin Xia, Yulun Zhang+5 more|arXiv (Cornell University)|Oct 2, 2022

Advanced Image Processing Techniques被引用 6

一句话总结

本文提出了一种基础二值卷积单元（BBCU），用于二值化图像恢复网络，解决了二值化神经网络中的关键挑战，如信息丢失、数值范围失衡以及激活函数位置问题。通过系统的分析与消融实验，BBCU整合了残差对齐与优化的组件布局，实现了在图像超分辨率、去噪和去块效应任务上的最先进性能，并显著提升了计算与参数效率。

ABSTRACT

Lighter and faster image restoration (IR) models are crucial for the deployment on resource-limited devices. Binary neural network (BNN), one of the most promising model compression methods, can dramatically reduce the computations and parameters of full-precision convolutional neural networks (CNN). However, there are different properties between BNN and full-precision CNN, and we can hardly use the experience of designing CNN to develop BNN. In this study, we reconsider components in binary convolution, such as residual connection, BatchNorm, activation function, and structure, for IR tasks. We conduct systematic analyses to explain each component's role in binary convolution and discuss the pitfalls. Specifically, we find that residual connection can reduce the information loss caused by binarization; BatchNorm can solve the value range gap between residual connection and binary convolution; The position of the activation function dramatically affects the performance of BNN. Based on our findings and analyses, we design a simple yet efficient basic binary convolution unit (BBCU). Furthermore, we divide IR networks into four parts and specially design variants of BBCU for each part to explore the benefit of binarizing these parts. We conduct experiments on different IR tasks, and our BBCU significantly outperforms other BNNs and lightweight models, which shows that BBCU can serve as a basic unit for binarized IR networks. All codes and models will be released.

研究动机与目标

• 为解决将二值化神经网络（BNNs）应用于低层次图像恢复（IR）任务时存在的差距，这些任务与分类等高层视觉任务存在显著差异。
• 系统分析残差连接、BatchNorm和激活函数在二值化IR网络中的作用，识别关键陷阱与设计原则。
• 开发一种简单、高效且通用的基础二值卷积单元（BBCU），在IR基准测试中优于现有BNNs和轻量化模型。
• 通过为网络各部分（头部、主干、上采样、尾部）设计专用的BBCU变体，探索不同网络组件的二值化收益。

提出的方法

• 提出一种基础二值卷积单元（BBCU），将残差连接与二值卷积结合，使用放大因子对齐残差与二值卷积输出之间的数值范围。
• 在BBCU-V2中引入残差对齐（RA）方案，以可学习因子k缩放输入图像，替代BatchNorm，避免BN对IR性能的负面影响。
• 通过完全移除BatchNorm并采用RA设计BBCU-V3，使标准数据集上的性能提升0.17–0.29 dB。
• 提出BBCU-V4，将激活函数移至残差路径内部，保留全精度负值，增强特征表示能力。
• 将IR网络划分为四部分（头部、主干、上采样、尾部），并为每部分设计专用的BBCU变体，以最大化二值化收益。
• 采用指标$V_C$和$V_P$量化计算与参数节省，指导组件级二值化决策。

实验结果

研究问题

• RQ1 残差连接、BatchNorm和激活函数位置如何影响二值化图像恢复网络的性能？
• RQ2 为何在分类BNN中有效的BatchNorm会在图像恢复任务中损害性能？
• RQ3 能否通过输入放大实现的残差对齐替代二值化IR网络中的BatchNorm，以提升性能与效率？
• RQ4 IR网络的哪些组件（头部、主干、上采样、尾部）从二值化中获得最大收益？
• RQ5 在IR任务中，二值卷积单元内激活函数的最优位置与结构是什么？

主要发现

• BBCU-V3通过移除BatchNorm并采用残差对齐，在Set5上优于BBCU-V1 0.17 dB，在Urban100上优于0.16 dB，在Manga109上优于0.29 dB。
• BBCU-V4通过将激活函数移至残差路径内部，通过保留全精度负值实现最佳性能，优于BBCU-V3。
• 上采样层提供了最高的二值化收益，$V_C$降低535.83×10⁻⁶，$V_P$降低500.00×10⁻³，但此前研究中被忽视。
• 对头部和尾部层进行二值化带来的收益相对较低，PSNR分别下降28.58 dB和27.76 dB，表明这些部分二值化带来的性能增益有限。
• 残差对齐的最优放大因子$k^*$通过实验确定为$k^* = 130n/64$，其中n为通道数，且性能对这一数值高度敏感。
• BBCU在图像超分辨率、去噪和去块效应任务中均达到最先进性能，显著优于现有BNNs和轻量化模型，同时保持高效率。