[论文解读] Deep Neural Network Ensembles against Deception: Ensemble Diversity, Accuracy and Robustness

Ling Liu, Wenqi Wei+5 more|arXiv (Cornell University)|Aug 29, 2019

Adversarial Robustness in Machine Learning参考文献 23被引用 7

一句话总结

本文提出了一种深度神经网络（DNN）集成框架，通过优化多种多样性度量和共识策略，提升模型的准确性和对抗攻击下的鲁棒性。通过有策略地结合多样化的DNN模型，采用投票或学习融合的方式，该集成方法实现了更高的准确率，并能有效抵抗对抗扰动的欺骗。

ABSTRACT

Ensemble learning is a methodology that integrates multiple DNN learners for improving prediction performance of individual learners. Diversity is greater when the errors of the ensemble prediction is more uniformly distributed. Greater diversity is highly correlated with the increase in ensemble accuracy. Another attractive property of diversity optimized ensemble learning is its robustness against deception: an adversarial perturbation attack can mislead one DNN model to misclassify but may not fool other ensemble DNN members consistently. In this paper we first give an overview of the concept of ensemble diversity and examine the three types of ensemble diversity in the context of DNN classifiers. We then describe a set of ensemble diversity measures, a suite of algorithms for creating diversity ensembles and for performing ensemble consensus (voted or learned) for generating high accuracy ensemble output by strategically combining outputs of individual members. This paper concludes with a discussion on a set of open issues in quantifying ensemble diversity for robust deep learning.

研究动机与目标

• 研究集成多样性如何提升深度神经网络分类器的准确性和鲁棒性。
• 识别并量化DNN集成中的三种多样性类型，以提升泛化能力并增强对对抗攻击的抵抗能力。
• 开发一套算法，用于生成多样化的DNN集成及高效的共识机制，实现高准确率预测。
• 解决在测量和利用集成多样性以实现鲁棒深度学习方面存在的开放性挑战。

提出的方法

• 对DNN分类器中的三种集成多样性进行分类与分析：误差多样性、输出多样性和参数多样性。
• 提出一组定量多样性度量方法，用于评估并指导多样化DNN集成的构建。
• 采用数据打乱、模型权重初始化和数据增强等训练策略，促进集成成员之间的多样性。
• 应用投票和学习融合两种共识方法，整合单个DNN模型的预测结果以生成最终输出。
• 通过对抗训练和扰动测试评估模型在欺骗攻击下的鲁棒性。
• 提出一种系统性评估框架，用于分析多样性度量与集成性能及对抗鲁棒性之间的关系。

实验结果

研究问题

• RQ1 集成多样性与DNN分类器准确性和鲁棒性提升之间有何相关性？
• RQ2 DNN集成中的三种主要多样性类型是什么？如何测量并优化它们？
• RQ3 基于多样性的集成学习在多大程度上能有效抵抗对抗扰动攻击，相比单模型有何优势？
• RQ4 不同的共识策略（投票与学习融合）如何影响集成性能和鲁棒性？
• RQ5 在量化和利用集成多样性以实现鲁棒深度学习方面，存在哪些关键开放性挑战？

主要发现

• 更高的集成多样性可使误差分布更加均匀，显著提升整体集成的准确率。
• 经多样性优化的集成模型在对抗攻击下表现出更优的鲁棒性，因为能够欺骗单个模型的扰动往往无法误导整个集成。
• 使用多种多样性度量可系统性地识别并增强集成中互补的DNN模型。
• 在某些场景下，学习融合方法优于简单投票，因其能更好地捕捉模型间的相互关系，从而提升最终预测准确率。
• 本文识别出在定义和测量DNN集成多样性方面存在关键开放问题，尤其与对抗鲁棒性相关。
• 实证结果表明，多样化集成在面对定向对抗攻击时仍能保持高准确率，凸显其对欺骗攻击的强韧性。