[论文解读] Ensemble Robustness of Deep Learning Algorithms

Jiashi Feng, Tom Zahavy+3 more|arXiv (Cornell University)|Feb 7, 2016

Adversarial Robustness in Machine Learning参考文献 15被引用 4

一句话总结

本文提出了一种名为集成鲁棒性的新框架，用于解释深度学习算法的泛化性能。研究表明，当随机学习算法对对抗性扰动的平均敏感度有界时，其泛化性能表现良好，或等价地，当其性能方差较低时——该结论得到了七种深度学习算法及其架构的仿真结果支持。

ABSTRACT

The question why deep learning algorithms perform so well in practice has attracted increasing research interest. However, most of well-established approaches, such as hypothesis capacity, robustness or sparseness, have not provided complete explanations, due to the high complexity of the deep learning algorithms and their inherent randomness. In this work, we introduce a new approach~ extendash~ensemble robustness~ extendash~towards characterizing the generalization performance of generic deep learning algorithms. Ensemble robustness concerns robustness of the \emph{population} of the hypotheses that may be output by a learning algorithm. Through the lens of ensemble robustness, we reveal that a stochastic learning algorithm can generalize well as long as its sensitiveness to adversarial perturbation is bounded in average, or equivalently, the performance variance of the algorithm is small. Quantifying ensemble robustness of various deep learning algorithms may be difficult analytically. However, extensive simulations for seven common deep learning algorithms for different network architectures provide supporting evidence for our claims. Furthermore, our work explains the good performance of several published deep learning algorithms.

研究动机与目标

• 为了解决尽管深度学习算法具有高复杂度和固有随机性，但其泛化性能仍表现良好的不完整理解问题。
• 开发一种新的理论框架，以超越传统概念（如假设容量或稀疏性）来表征泛化性能。
• 研究由学习算法生成的假设群体的鲁棒性与其泛化能力之间的关系。
• 为多种已发表的深度学习算法的优异经验性能提供统一的解释。

提出的方法

• 提出集成鲁棒性作为衡量随机学习算法可能输出的所有假设群体整体鲁棒性的指标。
• 定义泛化的关键条件：在假设群体中，对对抗性扰动的平均敏感度有界。
• 建立有界平均敏感度与学习算法性能方差低之间的等价关系。
• 通过在七种常见深度学习算法及多种网络架构上进行广泛仿真，验证理论主张。
• 通过在扰动下性能方差的分析，利用实证评估研究算法的泛化行为。

实验结果

研究问题

• RQ1 深度学习算法生成的假设群体的鲁棒性如何影响其泛化性能？
• RQ2 对对抗性扰动的有界平均敏感度是否可以解释随机深度学习算法为何能良好泛化？
• RQ3 在假设群体中，性能方差在多大程度上与深度学习模型的泛化能力相关？
• RQ4 所提出的集成鲁棒性框架如何解释现有深度学习算法的成功？

主要发现

• 集成鲁棒性为理解深度学习中的泛化提供了一种新的理论视角，且独立于传统度量（如假设容量或稀疏性）。
• 若随机学习算法在其假设群体中对对抗性扰动的平均敏感度有界，则其泛化性能良好。
• 学习算法的低性能方差等价于有界平均敏感度，为泛化提供了一个实用的代理指标。
• 在七种深度学习算法及多种架构上的广泛仿真结果支持了所提出的理论主张。
• 该框架通过模型固有的集成鲁棒性，解释了多种已发表深度学习算法的优异经验性能。