[论文解读] Deep Ensembles on a Fixed Memory Budget: One Wide Network or Several Thinner Ones?

Nadezhda Chirkova, Ekaterina Lobacheva+1 more|arXiv (Cornell University)|May 14, 2020

Advanced Neural Network Applications参考文献 39被引用 6

一句话总结

本文研究在固定显存预算下，性能是否更优由单一宽网络实现，还是由多个较窄网络的集成实现。研究发现，将显存拆分为中等宽度网络的集成（显存拆分优势，MSA）在所有情况下均优于单一宽网络和极大规模的窄网络集成，且在使用WideResNet-28-10配置时，CIFAR-100上的准确率提升最高达1.92%。

ABSTRACT

One of the generally accepted views of modern deep learning is that increasing the number of parameters usually leads to better quality. The two easiest ways to increase the number of parameters is to increase the size of the network, e.g. width, or to train a deep ensemble; both approaches improve the performance in practice. In this work, we consider a fixed memory budget setting, and investigate, what is more effective: to train a single wide network, or to perform a memory split -- to train an ensemble of several thinner networks, with the same total number of parameters? We find that, for large enough budgets, the number of networks in the ensemble, corresponding to the optimal memory split, is usually larger than one. Interestingly, this effect holds for the commonly used sizes of the standard architectures. For example, one WideResNet-28-10 achieves significantly worse test accuracy on CIFAR-100 than an ensemble of sixteen thinner WideResNets: 80.6% and 82.52% correspondingly. We call the described effect the Memory Split Advantage and show that it holds for a variety of datasets and model architectures.

研究动机与目标

• 探究在固定显存预算下，是更应将资源用于单一宽网络，还是多个较窄网络的集成。
• 确定在最大化性能的前提下，模型宽度与集成规模之间的最优显存分配方式。
• 评估显存拆分优势（MSA）在不同数据集、模型架构及超参数设置下的适用性。
• 评估MSA对分类准确率与不确定性估计质量的影响。

提出的方法

• 作者在多个数据集和架构上，对比单一宽网络与总参数量相同的多个较窄网络集成的性能。
• 在CIFAR-10、CIFAR-100和IWSLT’14上使用VGG、WideResNet和Transformer模型进行实验。
• 通过贝叶斯优化与网格搜索对超参数进行调优，以确保不同配置间的公平比较。
• 性能通过测试准确率与校准后的负对数似然（NLL）进行评估，后者用于不确定性估计。
• 通过调整网络数量（N）与宽度（S）系统性地改变显存分配，同时保持总参数量恒定。
• 通过识别使测试准确率最高且NLL最小的集成配置（N, S）来量化MSA效应。

实验结果

研究问题

• RQ1 当总参数量固定时，中等宽度网络的集成是否优于单一宽网络？
• RQ2 在固定显存预算下，是否存在一个最优的集成网络数量以实现最佳性能？
• RQ3 显存拆分优势（MSA）在不同数据集与模型架构下是否依然成立？
• RQ4 MSA效应在不确定性估计质量（以校准NLL衡量）方面表现如何？
• RQ5 超参数调优策略（贝叶斯优化 vs. 网格搜索）是否影响观察到的MSA效应？

主要发现

• 由十六个较窄的WideResNet（每个准确率为80.6%）组成的集成，在CIFAR-100上优于单一的WideResNet-28-10（准确率为82.52%），准确率提升达1.92%。
• 显存拆分优势（MSA）即使在小型架构配置下也成立，而不仅限于大型模型，表明其具有广泛适用性。
• 在总参数量相同的情况下，中等宽度网络的集成实现的校准测试NLL低于单一宽网络，表明其不确定性估计更优。
• 实现最大性能的最优集成规模（N）通常大于1，且随总显存预算的增加而增大。
• 对于单一模型，贝叶斯优化的超参数调优所得测试准确率高于网格搜索，但MSA效应在两种调优方法下均保持一致。
• MSA效应在多个数据集（CIFAR-10、CIFAR-100）与架构（VGG、WideResNet、Transformer）上均表现稳健，证实其泛化能力。