[论文解读] Generalized Negative Correlation Learning for Deep Ensembling

Sebastian Buschjäger, Lukas Pfahler+1 more|arXiv (Cornell University)|Nov 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 47被引用 8

一句话总结

本文提出广义负相关学习（GNCL），一种用于深度集成的新框架，将偏差-方差分解推广至任意二阶可导损失函数。GNCL 实现了独立训练与端到端集成训练之间的平滑插值，揭示出对于小容量网络，联合训练（高多样性）可提升性能；而对于大容量网络，独立训练（低多样性）更优，因其能减少因强制多样性带来的偏差。

ABSTRACT

Ensemble algorithms offer state of the art performance in many machine learning applications. A common explanation for their excellent performance is due to the bias-variance decomposition of the mean squared error which shows that the algorithm's error can be decomposed into its bias and variance. Both quantities are often opposed to each other and ensembles offer an effective way to manage them as they reduce the variance through a diverse set of base learners while keeping the bias low at the same time. Even though there have been numerous works on decomposing other loss functions, the exact mathematical connection is rarely exploited explicitly for ensembling, but merely used as a guiding principle. In this paper, we formulate a generalized bias-variance decomposition for arbitrary twice differentiable loss functions and study it in the context of Deep Learning. We use this decomposition to derive a Generalized Negative Correlation Learning (GNCL) algorithm which offers explicit control over the ensemble's diversity and smoothly interpolates between the two extremes of independent training and the joint training of the ensemble. We show how GNCL encapsulates many previous works and discuss under which circumstances training of an ensemble of Neural Networks might fail and what ensembling method should be favored depending on the choice of the individual networks. We make our code publicly available under https://github.com/sbuschjaeger/gncl

研究动机与目标

• 将任意二阶可导损失函数的广义偏差-方差分解形式化，扩展至均方误差之外的范围。
• 开发统一框架 GNCL，实现深度神经网络集成中独立训练与端到端训练之间的平滑插值。
• 探究集成失败的条件，并根据基学习器容量判断应优先采用多样化训练还是独立训练。
• 通过实证验证 GNCL 在不同网络容量下优于最先进集成技术。

提出的方法

• 推导广义偏差-方差分解，明确将集成多样性与损失函数的海森矩阵及专家输出的协方差联系起来。
• 提出 GNCL 作为正则化方案，通过超参数 λ 控制多样性，实现从独立训练（λ=0）到端到端训练（λ=1）的插值。
• 利用损失函数的海森矩阵加权负相关惩罚，使多样性控制自适应于特定损失函数。
• 在共享权重、多头架构中应用 GNCL，其中每个集成成员使用共享损失和输出协方差惩罚进行训练。
• 采用统一训练目标，结合各模型损失与依赖于 λ 和海森矩阵的多样性促进项。
• 在小、中、大容量神经网络上评估性能，分析多样性对偏差与方差的影响。

实验结果

研究问题

• RQ1 如何将偏差-方差分解推广至任意二阶可导损失函数，而不仅限于均方误差？
• RQ2 在何种情况下强制集成中的多样性会损害性能？
• RQ3 单个基学习器的容量如何影响最优集成多样性的水平？
• RQ4 像 GNCL 这样的统一框架能否泛化现有集成方法，如自助采样法（bagging）、提升法（boosting）和端到端训练？
• RQ5 在深度神经网络集成中，多样性与单个模型性能之间的最优权衡是什么？

主要发现

• 对于小容量二值化神经网络，端到端训练（λ=1.0）通过高多样性实现了最高测试准确率，优于独立训练和 SMCL。
• 尽管 SMCL 与 GNCL 在 λ=0.8 时具有相似的多样性水平，但其性能显著更差（≈5% 准确率差距），表明仅靠多样性不足以保证性能，必须辅以恰当优化。
• 在中等容量模型中，GNCL 在 λ=0.8–0.9 时达到峰值性能，表明当基模型更具表现力时，中等多样性为最优。
• 对于大容量模型，当 λ 超过 0.7 后性能下降，表明当基模型本身偏差已较低时，高多样性会损害性能。
• 端到端训练在所有设置中均达到最低训练损失，但并未始终带来最佳测试准确率，尤其在大模型中表现不佳。
• 结果证实，最优集成策略取决于基模型容量：联合训练适合小模型，独立训练适合大模型。