[论文解读] Group Ensemble: Learning an Ensemble of ConvNets in a single ConvNet

Hao Chen, Abhinav Shrivastava|arXiv (Cornell University)|Jul 1, 2020

Advanced Neural Network Applications参考文献 62被引用 13

一句话总结

本文提出Group Ensemble Network (GENet)，一种新颖的神经网络架构，通过共享基础结构与多头设计，结合分组卷积，在单个卷积神经网络中显式嵌入多个卷积神经网络的集成。通过支持独立训练与聚合的分组平均、Wagging或Boosting策略，GENet在ImageNet、CIFAR、动作识别和目标检测任务上均达到最先进性能，同时保持单个模型的计算成本——在ResNeXt-50上将top-1错误率降低1.83%，且未增加FLOPs或参数量。

ABSTRACT

Ensemble learning is a general technique to improve accuracy in machine learning. However, the heavy computation of a ConvNets ensemble limits its usage in deep learning. In this paper, we present Group Ensemble Network (GENet), an architecture incorporating an ensemble of ConvNets in a single ConvNet. Through a shared-base and multi-head structure, GENet is divided into several groups to make explicit ensemble learning possible in a single ConvNet. Owing to group convolution and the shared-base, GENet can fully leverage the advantage of explicit ensemble learning while retaining the same computation as a single ConvNet. Additionally, we present Group Averaging, Group Wagging and Group Boosting as three different strategies to aggregate these ensemble members. Finally, GENet outperforms larger single networks, standard ensembles of smaller networks, and other recent state-of-the-art methods on CIFAR and ImageNet. Specifically, group ensemble reduces the top-1 error by 1.83% for ResNeXt-50 on ImageNet. We also demonstrate its effectiveness on action recognition and object detection tasks.

研究动机与目标

• 解决深度学习中显式模型集成带来的高计算成本，同时保留其性能优势。
• 在单个卷积神经网络架构中实现显式集成学习（如Bagging、Boosting、Stacking）。
• 在不牺牲准确率的前提下，降低集成模型的推理与训练成本。
• 在统一的、端到端可训练框架中，探索高效的聚合策略——分组平均、Wagging与Boosting。
• 在图像分类、动作识别与目标检测等多样化视觉任务中，验证该方法的泛化能力。

提出的方法

• GENet采用共享基础、多头架构，其中低层特征在所有集成成员间共享，而高层网络（包括分类器）则分组并独立训练。
• 通过分组卷积高效实现多头结构，使早期层实现参数共享，后期层实现独立学习。
• 引入三种聚合策略：分组平均（集成平均）、分组Wagging（对训练数据进行随机扰动）与分组Boosting（通过残差学习进行顺序训练）。
• 使用小批量随机梯度下降进行端到端训练，使所有集成成员在保持与单个卷积神经网络相同FLOPs与参数量的前提下实现联合优化。
• 该方法基于经验观察：不同卷积神经网络实例会收敛到相似的低级特征，从而支持共享基础设计的合理性。
• 该架构被应用于ResNet、ResNeXt与I3D模型，在图像、视频与目标检测基准上均进行了验证。

实验结果

研究问题

• RQ1 能否在不增加计算成本的前提下，有效将显式集成学习嵌入单个卷积神经网络？
• RQ2 共享基础与多头设计是否能同时实现参数效率与集成方法的性能增益？
• RQ3 在统一的单模型框架中，不同集成聚合策略（平均、Wagging与Boosting）的表现如何？
• RQ4 所提出的Group Ensemble Network是否在标准基准上超越更大的单模型与标准集成模型？
• RQ5 该方法能否在图像分类、动作识别与目标检测等多样化视觉任务中实现泛化？

主要发现

• 在ImageNet上，GENet将ResNeXt-50的top-1错误率降低1.83%，优于两个ResNeXt-50模型的标准集成。
• 在CIFAR-10上，GENet仅用490万参数与0.76G FLOPs，实现3.95%的测试错误率，优于标准集成与更大规模的单模型。
• 在动作识别任务中，分组Wagging优于分组平均，在Something-Something上提升准确率3%，在Kinetics-200上提升1.4%。
• 在COCO 2017目标检测任务中，GENet在参数量不变的前提下，将AP提升1.0个百分点，AP75提升1.54%，优于基线Faster R-CNN。
• GENet在ImageNet与CIFAR上实现最先进性能，同时保持与单个卷积神经网络相同的FLOPs与参数量。
• 该方法在图像分类、动作识别与目标检测等多样化任务中均表现出一致的性能增益，验证了其泛化能力与高效性。