[论文解读] Intra-Ensemble in Neural Networks

Yuan Gao, Zixiang Cai+1 more|arXiv (Cornell University)|Apr 9, 2019

Advanced Neural Network Applications参考文献 52被引用 4

一句话总结

该论文提出了一种端到端神经网络架构 Intra-Ensemble (IENet)，通过随机通道重组和可切换批量归一化，在单个模型中训练多个多样化的子网络。通过共享大部分参数并引入受控的通道多样性，IENet 在参数增加极少的情况下实现了显著的性能提升，仅使用 278 万个参数就在 CIFAR-10 和 CIFAR-100 上超越了当前最先进模型。

ABSTRACT

Improving model performance is always the key problem in machine learning including deep learning. However, stand-alone neural networks always suffer from marginal effect when stacking more layers. At the same time, ensemble is an useful technique to further enhance model performance. Nevertheless, training several independent deep neural networks for ensemble costs multiple resources. If so, is it possible to utilize ensemble in only one neural network? In this work, we propose Intra-Ensemble, an end-to-end ensemble strategy with stochastic channel recombination operations to train several sub-networks simultaneously within one neural network. Additional parameter size is marginal since the majority of parameters are mutually shared. Meanwhile, stochastic channel recombination significantly increases the diversity of sub-networks, which finally enhances ensemble performance. Extensive experiments and ablation studies prove the applicability of intra-ensemble on various kinds of datasets and network architectures.

研究动机与目标

• 为解决传统深度学习集成方法中计算和参数成本过高的问题，通过在单个神经网络内实现集成学习。
• 通过利用过参数化网络中的参数冗余，在不增加模型大小的前提下提升模型性能。
• 在共享架构中提升子网络之间的多样性，以增强集成模型的泛化能力和鲁棒性。
• 开发一种训练策略，在保证各子网络高准确率的同时，降低其预测结果之间的相关性。
• 在多种架构和数据集上验证该方法的泛化能力，包括复杂度逐渐增加的图像分类任务。

提出的方法

• IENet 使用可切换批量归一化（S-BN）在单个网络中实现不同宽度的多个子网络的联合训练，每个子网络使用不同的通道比例。
• 引入随机通道重组（RC）作为关键操作，在训练过程中随机重新分配子网络之间的通道，以增强子网络间的多样性。
• 子网络通过共享主干权重进行端到端训练，同时 S-BN 层为每种宽度独立维护统计信息，以保证训练稳定性和性能。
• 推理阶段通过堆叠或平均子网络的预测结果形成最终的集成输出，实验表明堆叠策略表现更优。
• 该方法被应用于多种架构（如 DenseNet 类型、ResNet 类型）和数据集，包括 CIFAR-10、CIFAR-100 等，仅需极少的超参数调优。
• 通过相似性度量（S）评估子网络间的相关性，结果表明较低的相似性与更好的集成性能正相关。

实验结果

研究问题

• RQ1 单个神经网络能否有效承载多个多样化的子网络，在几乎不增加参数开销的情况下实现集成性能？
• RQ2 随机通道重组（RC）与其它通道选择策略（如随机剪裁、随机排序）相比，在提升子网络多样性和集成准确率方面表现如何？
• RQ3 在复杂任务（如 CIFAR-100）上，内部集成性能的提升是否显著高于简单任务（如 CIFAR-10）？
• RQ4 子网络准确率与相似性之间的权衡在多大程度上影响最终的集成性能？
• RQ5 该内部集成策略是否可在无需修改网络架构的前提下，推广至不同网络架构和数据集？

主要发现

• 使用 4 个子网络和随机通道重组（RC）的 IENet 在 CIFAR-100 上实现了 2.61% 的测试错误率，优于参数为 282 万、错误率为 16.04% 的独立模型。
• 在 CIFAR-10 上，4 个子网络的 IENet 搭配 RC 实现了 2.61% 的错误率，相比参数量相近（266 万）的独立模型提升了 1.64%。
• 该方法将子网络相似性（S）从 0.857 降低至 0.653，同时提升了准确率，证明更低的相关性有助于增强集成性能。
• 在 CIFAR-100 上，5 个子网络的 IENet 实现了 16.04% 的错误率，相比独立基线模型提升了 2.62%，表明在复杂、高类别任务中具有更大潜力。
• 该方法在图像尺寸和类别数量不同的数据集中均表现出良好的泛化能力，在简单与复杂任务上均实现了稳定的性能提升。
• 随机通道重组（RC）在准确率与多样性之间实现了最佳平衡，尽管相似性较低，但因更好地保留了子网络的准确率，表现优于随机排序（RO）和顺序剪裁（SC）策略。