[论文解读] 0/1 Deep Neural Networks via Block Coordinate Descent

Hui Zhang, Shenglong Zhou+2 more|arXiv (Cornell University)|Jun 19, 2022

Machine Learning and Algorithms被引用 4

一句话总结

本文提出一种块坐标下降（BCD）算法，用于训练以0/1阶跃函数作为激活函数的深度神经网络，克服了传统反向传播中固有的梯度消失问题。通过将0/1 DNN重述为无约束优化问题，并利用子问题的闭式解，该方法在MNIST、FashionMNIST、CIFAR-10和CIFAR-100上实现了最先进性能，同时通过ℓ₂,₀-正则化显著降低了FLOPs和模型大小。

ABSTRACT

The step function is one of the simplest and most natural activation functions for deep neural networks (DNNs). As it counts 1 for positive variables and 0 for others, its intrinsic characteristics (e.g., discontinuity and no viable information of subgradients) impede its development for several decades. Even if there is an impressive body of work on designing DNNs with continuous activation functions that can be deemed as surrogates of the step function, it is still in the possession of some advantageous properties, such as complete robustness to outliers and being capable of attaining the best learning-theoretic guarantee of predictive accuracy. Hence, in this paper, we aim to train DNNs with the step function used as an activation function (dubbed as 0/1 DNNs). We first reformulate 0/1 DNNs as an unconstrained optimization problem and then solve it by a block coordinate descend (BCD) method. Moreover, we acquire closed-form solutions for sub-problems of BCD as well as its convergence properties. Furthermore, we also integrate $\ell_{2,0}$-regularization into 0/1 DNN to accelerate the training process and compress the network scale. As a result, the proposed algorithm has a high performance on classifying MNIST and Fashion-MNIST datasets. As a result, the proposed algorithm has a desirable performance on classifying MNIST, FashionMNIST, Cifar10, and Cifar100 datasets.

研究动机与目标

• 开发一种使用0/1阶跃函数作为激活函数的深度神经网络训练算法，该函数本质上不可微，不适用于标准反向传播。
• 通过避免依赖基于梯度的优化，解决阶跃函数相关的梯度消失问题。
• 整合ℓ₂,₀-正则化以促进网络稀疏性，降低模型大小和计算成本。
• 展示0/1 DNN在图像分类任务中的有效性，具备对对抗性噪声的鲁棒性以及具有竞争力的性能。

提出的方法

• 将0/1 DNN的训练问题重述为无约束优化问题，损失函数结合均方误差与ℓ₂,₀-正则化。
• 应用块坐标下降（BCD）方法，交替优化每个权重矩阵W_i，同时固定其他权重矩阵。
• 推导BCD更新中每个子问题的闭式解，实现无需梯度计算的高效且稳定的优化。
• 使用阶跃函数（0/1激活）和硬最大层生成离散输出，确保神经元的二值行为。
• 整合ℓ₂,₀-正则化，通过惩罚每个权重矩阵中非零列的数量来诱导稀疏性。
• 通过在权重矩阵上交替最小化实现算法，并通过理论分析建立了收敛性保证。

实验结果

研究问题

• RQ1 像BCD这样的非梯度优化方法能否有效训练具有不连续0/1激活函数的深度神经网络？
• RQ2 ℓ₂,₀-正则化的整合如何影响0/1 DNN的稀疏性和泛化性能？
• RQ3 使用BCD训练的0/1 DNN在MNIST和CIFAR-10/100等标准图像分类基准上的性能如何？
• RQ4 与ReLU模型相比，0/1 DNN对输入噪声和对抗性扰动的鲁棒性如何？
• RQ5 0/1 DNN能否在显著降低FLOPs和模型参数数量的同时实现具有竞争力的准确率？

主要发现

• 通过BCD训练的0/1 DNN在MNIST上实现了97.8%的top-1准确率，优于ReLU和Sigmoid基线模型。
• 在FashionMNIST上，该方法以仅3,800个滤波器参数实现了93.2%的top-1准确率，相比标准ReLU网络FLOPs降低了12%。
• 在CIFAR-10上，0/1(BCD)模型以3,800个滤波器和182.9M FLOPs实现了93.1%的top-1准确率，显著低于ReLU的225.6M FLOPs。
• 在CIFAR-100上，0/1 DNN以3,990个滤波器参数和182.9M FLOPs实现了53.189%的top-1准确率，展现出高效性和可扩展性。
• 0/1 DNN对高斯噪声表现出优越的鲁棒性，在高噪声水平下仍能保持稳定测试误差，而ReLU模型则频繁误分类。
• BCD算法收敛稳定，且在所有对比方法（包括STE、CCNN、PCNN和Bi-Real-Net）中FLOPs最低，证实了其高效性。