[论文解读] BiMLP: Compact Binary Architectures for Vision Multi-Layer Perceptrons

Yixing Xu, Xinghao Chen+1 more|arXiv (Cornell University)|Dec 29, 2022

Neural Networks and Applications被引用 5

一句话总结

本文提出 BiMLP，一种用于视觉多层感知机（MLPs）的紧凑二值化架构，通过引入多分支二值化模块（MBB）和通用残差连接（Uni-shortcut），克服了二值化全连接（FC）层表示能力有限的问题，并重新设计了下采样层。该方法在 ImageNet-1k 上实现了 70.0% 的 Top-1 准确率，FLOPs 比 ReActNet 减少了 12.1%，显著优于对现有 MLP 直接进行二值化的结果。

ABSTRACT

This paper studies the problem of designing compact binary architectures for vision multi-layer perceptrons (MLPs). We provide extensive analysis on the difficulty of binarizing vision MLPs and find that previous binarization methods perform poorly due to limited capacity of binary MLPs. In contrast with the traditional CNNs that utilizing convolutional operations with large kernel size, fully-connected (FC) layers in MLPs can be treated as convolutional layers with kernel size $1 imes1$. Thus, the representation ability of the FC layers will be limited when being binarized, and places restrictions on the capability of spatial mixing and channel mixing on the intermediate features. To this end, we propose to improve the performance of binary MLP (BiMLP) model by enriching the representation ability of binary FC layers. We design a novel binary block that contains multiple branches to merge a series of outputs from the same stage, and also a universal shortcut connection that encourages the information flow from the previous stage. The downsampling layers are also carefully designed to reduce the computational complexity while maintaining the classification performance. Experimental results on benchmark dataset ImageNet-1k demonstrate the effectiveness of the proposed BiMLP models, which achieve state-of-the-art accuracy compared to prior binary CNNs. The MindSpore code is available at \url{https://gitee.com/mindspore/models/tree/master/research/cv/BiMLP}.

研究动机与目标

• 为解决现有二值化方法在视觉 MLP 上表现不佳的问题，原因在于二值化全连接层的表示能力有限。
• 在不使计算复杂度呈平方级增长的前提下，提升二值化 MLP 的表征能力。
• 设计一种高效的下采样机制，在降低 FLOPs 的同时保持分类准确率。
• 与现有的二值化 CNN 相比，实现二值化视觉模型的 SOTA 性能。

提出的方法

• 提出一种多分支二值化 MLP 模块（MBB），通过在相同网络阶段融合多个分支的输出，增强特征表征能力。
• 引入一种通用残差连接（Uni-shortcut），实现不同空间尺寸特征之间的残差连接，改善梯度流动并提升特征复用。
• 通过结合全连接层与多分支最大池化，重新设计下采样层，相比标准的 3×3 卷积，将 FLOPs 降低了 41.1%。
• 在蒸馏损失中引入可学习缩放因子 α，以平衡教师模型的知识迁移与真实标签的监督。
• 采用带直通估计器（STE）的符号函数对权重和激活进行二值化，结合批量归一化与 ReLU-PReLU（RPReLU），以提升训练稳定性。

实验结果

研究问题

• RQ1 为何现有二值化方法在视觉 MLP 上的表现劣于 CNN？
• RQ2 如何在不增加计算成本的前提下，增强 MLP 中二值化全连接层的表征能力？
• RQ3 通用残差连接机制是否能改善具有可变尺寸特征图的二值化 MLP 中的特征流动与性能？
• RQ4 重新设计的下采样层在保持准确率的前提下，能在多大程度上降低 FLOPs？

主要发现

• 所提出的 BiMLP 在 ImageNet-1k 上实现了 70.0% 的 Top-1 准确率，优于 1-bit 二值化的 Wave-MLP（55.3%）和 ReActNet（68.7%）。
• 采用 Uni-shortcut 的 MBB 模块相比无任何残差连接的版本，Top-1 准确率提升 1.7%；相比标准残差连接，提升 0.9%。
• 所提出的下采样层将 FLOPs 从 2.65×10⁸ 降低至 1.56×10⁸（降低 41.1%），仅导致 Top-1 准确率下降 0.3%。
• 消融实验证明，批量归一化与 RPReLU 的组合表现最佳，使 BiMLP-S 模型在 ImageNet-1k 上达到 70.0% 的 Top-1 准确率。
• 蒸馏损失中超参数 α = 0.9 时验证准确率最高，证实了知识蒸馏与监督之间达到最佳平衡。
• 改进后的 BiMLP 架构在完全二值化的情况下，性能可与原始 FP32 Wave-MLP（80.1%）相媲美，证明了架构重构相较于直接二值化的有效性。