[论文解读] Ising-Dropout: A Regularization Method for Training and Compression of Deep Neural Networks

Hojjat Salehinejad, Shahrokh Valaee|arXiv (Cornell University)|Feb 7, 2019

Machine Learning and Data Classification参考文献 10被引用 4

一句话总结

本文提出 Ising-Dropout，一种利用伊辛模型能量最小化来自适应地在训练过程中丢弃深度神经网络中的可见单元和隐藏单元的正则化与模型压缩技术。通过将神经元激活映射到伊辛权重，并利用富士通数字 annealer 进行优化，该方法在 Fashion-MNIST 上将参数优化量减少了高达 55.86%，同时保持了具有竞争力的分类准确率。

ABSTRACT

Overfitting is a major problem in training machine learning models, specifically deep neural networks. This problem may be caused by imbalanced datasets and initialization of the model parameters, which conforms the model too closely to the training data and negatively affects the generalization performance of the model for unseen data. The original dropout is a regularization technique to drop hidden units randomly during training. In this paper, we propose an adaptive technique to wisely drop the visible and hidden units in a deep neural network using Ising energy of the network. The preliminary results show that the proposed approach can keep the classification performance competitive to the original network while eliminating optimization of unnecessary network parameters in each training cycle. The dropout state of units can also be applied to the trained (inference) model. This technique could compress the network in terms of number of parameters up to 41.18% and 55.86% for the classification task on the MNIST and Fashion-MNIST datasets, respectively.

研究动机与目标

• 解决在类别不平衡或数据量有限的数据集上训练深度神经网络时的过拟合问题。
• 减少训练过程中需优化的参数数量，从而加速收敛并改善泛化性能。
• 通过在推理阶段仅保留最相关且训练良好的参数，实现模型压缩。
• 探索利用组合优化（通过伊辛模型）实现深度神经网络中自适应、非随机的丢弃机制。
• 评估在 MNIST 和 Fashion-MNIST 上的深度多层感知机中，模型压缩与分类准确率之间的权衡。

提出的方法

• 将深度多层感知机中每个神经元的激活映射到自旋玻璃模型中的代价（伊辛权重）。
• 利用富士通数字 annealer——一种通过 MCMC 求解组合优化问题的专用硬件——最小化伊辛能量，以确定最优丢弃状态。
• 从伊辛优化器生成一个二值掩码（状态向量），用于标识在训练和推理过程中应丢弃的单元。
• 在反向传播和推理过程中将掩码应用于网络的权重张量，实现动态参数剪枝。
• 将 Ising-Dropout 过程集成到每个小批量训练周期中，每轮训练均重新优化掩码。
• 在训练和推理中使用相同的掩码，从而在无需微调的情况下实现模型压缩。

实验结果

研究问题

• RQ1 伊辛能量最小化能否在深度神经网络中产生比随机丢弃更有效的自适应丢弃策略？
• RQ2 Ising-Dropout 在保持或提升泛化能力的前提下，能在多大程度上减少训练过程中需优化的参数数量？
• RQ3 在准确率和模型压缩效率方面，Ising-Dropout 与标准丢弃和无丢弃相比表现如何？
• RQ4 Ising-Dropout 掩码是否可在推理阶段重复使用，以实现显著的模型压缩且不造成性能下降？
• RQ5 在不同网络深度下应用 Ising-Dropout 时，模型大小缩减与分类准确率之间的权衡关系如何？

主要发现

• 在 MNIST 数据集上，Ising-Dropout 实现了 41.18% 的模型参数减少，同时保持了具有竞争力的分类准确率。
• 在更复杂的 Fashion-MNIST 数据集上，该方法将模型压缩了 55.86%，且与完整网络相比准确率仅下降 5.84%。
• 该方法在准确率和压缩效率方面均优于随机丢弃，尤其在深层网络中表现更优。
• 推理模型的压缩程度最高可达 55.86%，且无需微调，通过自适应选择训练良好的参数保持了性能。
• 即使在大幅剪枝参数后，该技术仍保持高性能，展现出有效的正则化与泛化能力。
• 可视化结果表明，Ising-Dropout 保留了关键输入特征（如数字形状），同时去除了背景或冗余像素。