[论文解读] Multiple Networks are More Efficient than One: Fast and Accurate Models via Ensembles and Cascades.

Xiaofang Wang, Dan Kondratyuk+3 more|arXiv (Cornell University)|Dec 3, 2020

Advanced Neural Network Applications参考文献 7被引用 7

一句话总结

该论文提出，集成模型和级联模型在准确率和效率方面均优于单一神经网络，且无需进行架构搜索。通过并行（集成）或串行（级联）组合多个模型，该方法在计算量低于大型独立模型的情况下实现了更高的准确率，尤其在高计算量场景下表现更优。

ABSTRACT

Recent work on efficient neural network architectures focuses on discovering a solitary network that can achieve superior computational efficiency and accuracy. While this paradigm has yielded impressive results, the search for novel architectures usually requires significant computational resources. In this work, we demonstrate a simple complementary paradigm to obtain efficient and accurate models that requires no architectural tuning. We show that committee-based models, i.e., ensembles or cascades of models, can easily obtain higher accuracy with less computation when compared to a single model. We extensively investigate the benefits of committee-based models on various vision tasks and architecture families. Our results suggest that in the large computation regime, model ensembles are a more cost-effective way to improve accuracy than using a large solitary model. We also find that the computational cost of an ensemble can be significantly reduced by converting them to cascades, while often retaining the original accuracy of the full ensemble.

研究动机与目标

• 探索基于委员会的模型（集成或级联）能否在效率-准确率权衡上优于单一神经网络。
• 研究此类委员会模型在多大程度上可减少对大规模架构搜索和超参数调优的需求。
• 评估集成与级联模型在多样化视觉任务和架构族中的计算成本与准确率。
• 确定级联模型是否能在降低推理成本的同时保持集成模型级别的准确率。
• 评估在高计算量场景下，委员会模型相较于大型独立模型的成本效益。

提出的方法

• 通过组合同一架构族的多个预训练模型的预测结果来构建模型集成。
• 通过使用轻量级模型筛选简单样本，并仅将困难样本传递给更重的模型来实现模型级联。
• 采用可微路由机制端到端训练级联模型，以同时优化主模型和次级模型。
• 在多个视觉任务（如图像分类、目标检测）和架构族（如ResNets、EfficientNets）上评估性能。
• 将集成与级联模型的推理速度、FLOPs和准确率与具有可比FLOPs的单一模型进行对比。
• 使用知识蒸馏和模型剪枝进一步减小级联模型的计算开销，同时保持准确率不变。

实验结果

研究问题

• RQ1 基于委员会的模型（集成或级联）能否在计算量相当或更低的情况下实现高于单一模型的准确率？
• RQ2 当计算预算较大时，集成模型的准确率增益是否可持续？其与扩展单一模型的性能相比如何？
• RQ3 级联模型在多大程度上可降低集成模型的推理成本，同时保持其准确率？
• RQ4 级联模型的性能在多大程度上依赖于基础模型的选择？模型异质性如何影响结果？
• RQ5 在高计算量场景下，集成方法是否比训练单一大型模型更具成本效益？

主要发现

• 集成模型在保持或降低计算成本的同时，始终在准确率上优于单一模型，尤其在高FLOP场景下表现更优。
• 级联模型可将完整集成模型的推理成本降低高达50%，同时保持原始集成模型的准确率。
• 级联模型的准确率通常与具有相似FLOPs的单一大型模型相当或更优。
• 在计算资源充足时，集成模型带来的性能增益比扩展单一模型更具成本效益。
• 当级联中的首个模型足够准确，能够有效筛选出简单样本时，级联模型尤为有效，从而显著减轻第二个模型的负载。
• 该方法无需架构搜索或超参数调优，是一种即插即用的替代方案，可直接替代定制架构设计。