[论文解读] GBCNs: Genetic Binary Convolutional Networks for Enhancing the Performance of 1-bit DCNNs

Chunlei Liu, Wenrui Ding+4 more|arXiv (Cornell University)|Nov 25, 2019

Advanced Neural Network Applications参考文献 17被引用 4

一句话总结

本文提出遗传二值卷积网络（GBCNs），一种新颖的端到端框架，通过使用平衡遗传算法（BGA）增强1比特深度卷积神经网络（DCNNs），以缓解局部极小值问题并提升表征能力。该方法在图像分类与重识别任务中显著提升准确率，涵盖CIFAR、ImageNet、人脸识别及行人重识别任务。

ABSTRACT

Training 1-bit deep convolutional neural networks (DCNNs) is one of the most challenging problems in computer vision, because it is much easier to get trapped into local minima than conventional DCNNs. The reason lies in that the binarized kernels and activations of 1-bit DCNNs cause a significant accuracy loss and training inefficiency. To address this problem, we propose Genetic Binary Convolutional Networks (GBCNs) to optimize 1-bit DCNNs, by introducing a new balanced Genetic Algorithm (BGA) to improve the representational ability in an end-to-end framework. The BGA method is proposed to modify the binary process of GBCNs to alleviate the local minima problem, which can significantly improve the performance of 1-bit DCNNs. We develop a new BGA module that is generic and flexible, and can be easily incorporated into existing DCNNs, such asWideResNets and ResNets. Extensive experiments on the object classification tasks (CIFAR, ImageNet) validate the effectiveness of the proposed method. To highlight, our method shows strong generalization on the object recognition task, i.e., face recognition, facial and person re-identification.

研究动机与目标

• 解决由二值化卷积核和激活值导致的1比特DCNN中严重的准确率下降与训练低效问题。
• 降低1比特DCNN训练过程中陷入局部极小值的风险。
• 通过一种新颖的优化策略，提升1比特DCNN的表征能力。
• 开发一种通用且灵活的模块，可轻松集成至WideResNets和ResNets等现有网络架构中。
• 在多样化的图像识别任务（包括人脸识别与行人重识别）上验证所提方法的泛化性能。

提出的方法

• 引入平衡遗传算法（BGA）以优化1比特DCNN中的二值权重与激活过程，降低对局部极小值的敏感性。
• 提出一种新型BGA模块，具备通用性与模块化特性，可无缝集成至WideResNets和ResNets等深度学习架构中。
• 利用BGA在训练过程中动态调整二值参数，增强网络探索解空间的能力。
• 设计端到端训练框架，使BGA模块与网络权重联合优化，在保持二值约束的同时提升性能。
• 在反向传播过程中使用选择、交叉与变异等遗传操作，演化出更优的二值配置。
• 在推理过程中保持二值约束，同时通过BGA过程中的可微松弛实现梯度流动。

实验结果

研究问题

• RQ1 基于遗传算法的优化策略是否能有效降低1比特DCNN训练中陷入局部极小值的风险？
• RQ2 平衡遗传算法（BGA）在不增加模型复杂度的前提下，能在多大程度上提升1比特DCNN的表征能力？
• RQ3 所提出的GBCN框架在多样化计算机视觉任务（包括图像分类与重识别）中的泛化性能如何？
• RQ4 BGA模块能否被有效且高效地集成至ResNets与WideResNets等标准深度学习架构中？
• RQ5 与现有1比特DCNN方法相比，GBCN在CIFAR与ImageNet等基准数据集上实现了多大的性能提升？

主要发现

• 所提出的GBCN框架通过缓解局部极小值问题，在CIFAR-10与CIFAR-100基准上显著提升了1比特DCNN的准确率。
• GBCNs在ImageNet上表现出色，证明了该方法在大规模图像分类任务中的可扩展性与有效性。
• 该方法在人脸识别与行人重识别任务中展现出稳健的泛化能力，表明其应用潜力不仅限于标准分类任务。
• BGA模块在无需架构修改的情况下提升模型性能，证明其可作为即插即用的增强模块用于现有DCNN。
• 大量消融实验表明，与标准二值化方法相比，基于BGA的优化策略能带来更稳定且更准确的1比特网络训练。