[论文解读] Efficient Diversity-Driven Ensemble for Deep Neural Networks

Wentao Zhang, Jiawei Jiang+2 more|arXiv (Cornell University)|Dec 26, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出了一种新型方法——高效多样性驱动集成（EDDE），通过从预训练模型中选择性地迁移通用知识，并结合多样性驱动的损失函数，实现了深度神经网络集成模型训练的加速与多样性提升。EDDE在计算机视觉和自然语言处理任务上均实现了当前最优的集成模型准确率，且训练成本低于现有方法。

ABSTRACT

The ensemble of deep neural networks has been shown, both theoretically and empirically, to improve generalization accuracy on the unseen test set. However, the high training cost hinders its efficiency since we need a sufficient number of base models and each one in the ensemble has to be separately trained. Lots of methods are proposed to tackle this problem, and most of them are based on the feature that a pre-trained network can transfer its knowledge to the next base model and then accelerate the training process. However, these methods suffer a severe problem that all of them transfer knowledge without selection and thus lead to low diversity. As the effect of ensemble learning is more pronounced if ensemble members are accurate and diverse, we propose a method named Efficient Diversity-Driven Ensemble (EDDE) to address both the diversity and the efficiency of an ensemble. To accelerate the training process, we propose a novel knowledge transfer method which can selectively transfer the previous generic knowledge. To enhance diversity, we first propose a new diversity measure, then use it to define a diversity-driven loss function for optimization. At last, we adopt a Boosting-based framework to combine the above operations, such a method can also further improve diversity. We evaluate EDDE on Computer Vision (CV) and Natural Language Processing (NLP) tasks. Compared with other well-known ensemble methods, EDDE can get highest ensemble accuracy with the lowest training cost, which means it is efficient in the ensemble of neural networks.

研究动机与目标

• 为解决现有集成方法因无差别知识迁移而导致的训练成本高、多样性低的问题。
• 在有限的训练预算下，通过同时最大化基模型的准确率与多样性，提升集成模型的泛化能力。
• 开发一种选择性知识迁移机制，仅将预训练模型中的通用特征（来自低层）迁移至后续基模型，以加速收敛而不损失多样性。
• 提出一种新的多样性度量方法与多样性驱动损失函数，显式优化基模型之间的负相关性。
• 集成基于提升（Boosting）的训练框架，进一步增强多样性并提升集成性能。

提出的方法

• 基于基模型在软标签预测上的负相关性，提出一种新的多样性度量方法。
• 引入一种多样性驱动损失函数，将标准交叉熵损失与促进模型输出负相关的正则化项相结合。
• 设计一种选择性知识迁移策略，仅将预训练模型中的通用特征（来自低层）迁移至后续基模型，以加速训练。
• 采用基于提升（Boosting）的训练框架，使每个基模型按顺序训练，结合知识迁移与多样性优化。
• 使用超参数 γ 平衡损失函数中准确率与多样性的权衡，实现可控优化。
• 在计算机视觉（CIFAR-100、ImageNet）与自然语言处理（GLUE基准）任务上对方法进行评估。

实验结果

研究问题

• RQ1 选择性知识迁移是否能在不降低深度神经网络集成模型多样性的情况下提升训练效率？
• RQ2 一种促进基模型之间负相关的多样性驱动损失函数，是否能带来更高的集成准确率？
• RQ3 当与选择性知识迁移和多样性优化结合时，基于提升（Boosting）的框架是否能进一步增强多样性与性能？
• RQ4 由超参数 γ 控制的准确率与多样性之间的权衡，如何影响最终的集成性能？
• RQ5 在相同预算下，EDDE 是否在准确率与训练成本两方面均优于现有集成方法？

主要发现

• 在 200 个训练周期的预算下，EDDE 在 CIFAR-100 上使用 ResNet-32 模型实现了 74.38% 的最高集成准确率，优于所有基线方法。
• 最优超参数 γ = 0.1 实现了多样性与准确率的最佳平衡，达到最高的集成性能。
• 当 γ = 0（即标准损失）时，EDDE 达到 73.86% 的准确率，证实多样性驱动损失相比标准训练可进一步提升性能。
• 当采用全部知识迁移（EDDE (transfer all)）时，准确率为 73.37%，但多样性较低（0.1631），表明迁移策略存在权衡。
• 当不进行知识迁移（EDDE (transfer none)）时，多样性最高（0.1854），但准确率最低（70.78%），表明在有限预算下知识迁移对收敛至关重要。
• EDDE 在准确率上优于使用迁移学习的 AdaBoost.NC（72.64%），证明其在多样性与准确率之间具有更优的平衡。