[论文解读] Diversity and Generalization in Neural Network Ensembles

Luis Ángel Ortega Cuesta, Rafael Cabañas+1 more|arXiv (Cornell University)|Oct 26, 2021

Adversarial Robustness in Machine Learning参考文献 50被引用 4

一句话总结

本文提出了一套理论基础扎实的框架，将神经网络集成中的多样性与泛化能力联系起来，展示了多样性如何在不同损失函数（平方损失、交叉熵损失、0-1损失）和组合策略（模型平均、加权多数投票）下降低集成误差。该研究引入了一种新颖的多样性度量方法，推导了其对泛化误差的影响，并通过实证验证表明，更高的多样性与更好的集成性能相关，尤其是在通过随机初始化或P2B-Ensemble等方法促进多样性时表现更优。

ABSTRACT

Ensembles are widely used in machine learning and, usually, provide state-of-the-art performance in many prediction tasks. From the very beginning, the diversity of an ensemble has been identified as a key factor for the superior performance of these models. But the exact role that diversity plays in ensemble models is poorly understood, specially in the context of neural networks. In this work, we combine and expand previously published results in a theoretically sound framework that describes the relationship between diversity and ensemble performance for a wide range of ensemble methods. More precisely, we provide sound answers to the following questions: how to measure diversity, how diversity relates to the generalization error of an ensemble, and how diversity is promoted by neural network ensemble algorithms. This analysis covers three widely used loss functions, namely, the squared loss, the cross-entropy loss, and the 0-1 loss; and two widely used model combination strategies, namely, model averaging and weighted majority vote. We empirically validate this theoretical analysis with neural network ensembles.

研究动机与目标

• 建立神经网络集成中多样性与泛化误差之间理论可靠的关联关系。
• 定义一种通用的、与损失函数无关的多样性度量方法，适用于不同的集成方法和损失函数。
• 分析现有神经网络集成算法如何促进多样性并影响集成性能。
• 通过多样化架构和数据集的实证研究，验证该理论框架。
• 基于多样性与个体模型准确率，明确集成优于单个模型的条件。

提出的方法

• 基于个体模型预测之间的相关性，推导出一种新颖的多样性度量 D(ρ)。
• 利用PAC-Bayesian界，将集成泛化误差分解为个体误差与多样性分量。
• 将该框架应用于三种损失函数：平方误差、交叉熵损失和0-1损失。
• 分析两种模型组合策略：模型平均与加权多数投票。
• 在CIFAR-10、CIFAR-100和WineQuality数据集上，基于LeNet5、ResNet20和MLP50架构，对框架进行实证评估。
• 通过调整集成规模以及使用Ensemble和P2B-Ensemble等算法，研究多样性扩展与性能的关系。

实验结果

研究问题

• RQ1 如何形式化地度量神经网络集成中的多样性，使其与泛化误差建立明确关联？
• RQ2 多样性在不同损失函数下如何影响集成的泛化误差？
• RQ3 个体模型性能、多样性与集成泛化误差之间存在何种权衡关系？
• RQ4 常见的神经网络集成算法（如随机初始化、P2B-Ensemble）如何促进多样性？
• RQ5 在何种条件下集成优于最佳单个模型？该结果能否通过多样性进行预测？

主要发现

• 通过 D(ρ) 度量的多样性更高的集成，其个体模型与集成之间的性能差距更大，证实了误差抵消效应。
• 在LeNet5和MLP50等简单网络中，随机初始化无法产生高多样性，导致集成增益受限，尤其在平方损失下更为明显。
• 对于ResNet20等深层网络，随着集成规模增大，多样性稳步提升，从而带来更好的泛化性能。
• P2B-Ensemble方法能随集成规模持续提升多样性，在低多样性区域中优于标准集成训练方法。
• 推论5提供了集成优越性的实用条件：当多样性项超过个体误差时，集成优于最佳单个模型。
• 实证结果表明，对于交叉熵损失和0-1损失，所有采用标准方法训练的集成均满足推论5的条件，且泛化性能优于最佳个体模型。