[论文解读] DeepGini: Prioritizing Massive Tests to Enhance the Robustness of Deep Neural Networks

Feng Yang, Qingkai Shi+4 more|arXiv (Cornell University)|Mar 2, 2019

Adversarial Robustness in Machine Learning参考文献 43被引用 11

一句话总结

DeepGini 是一种针对深度神经网络（DNNs）的新型测试用例优先级排序技术，从统计视角出发，通过测量输出集合的不纯度来估计误分类概率，从而高效识别潜在误分类的测试用例。该方法在有效性和效率方面均优于基于覆盖率的测试优先级排序方法，仅需较少的标注测试用例即可显著提升 DNN 的鲁棒性。

ABSTRACT

Deep neural networks (DNN) have been deployed in many software systems to assist in various classification tasks. In company with the fantastic effectiveness in classification, DNNs could also exhibit incorrect behaviors and result in accidents and losses. Therefore, testing techniques that can detect incorrect DNN behaviors and improve DNN quality are extremely necessary and critical. However, the testing oracle, which defines the correct output for a given input, is often not available in the automated testing. To obtain the oracle information, the testing tasks of DNN-based systems usually require expensive human efforts to label the testing data, which significantly slows down the process of quality assurance. To mitigate this problem, we propose DeepGini, a test prioritization technique designed based on a statistical perspective of DNN. Such a statistical perspective allows us to reduce the problem of measuring misclassification probability to the problem of measuring set impurity, which allows us to quickly identify possibly-misclassified tests. To evaluate, we conduct an extensive empirical study on popular datasets and prevalent DNN models. The experimental results demonstrate that DeepGini outperforms existing coverage-based techniques in prioritizing tests regarding both effectiveness and efficiency. Meanwhile, we observe that the tests prioritized at the front by DeepGini are more effective in improving the DNN quality in comparison with the coverage-based techniques.

研究动机与目标

• 解决为 DNN 标注测试预言（test oracle）所导致的高人力成本问题，该问题限制了可扩展的质量保障。
• 克服基于覆盖率的 DNN 测试优先级排序方法的局限性，如故障检测能力差和可扩展性问题。
• 开发一种方法，在受限的标注预算下有效优先排序测试用例，以最大化故障检测效果。
• 通过分析 DNN 的输出空间而不依赖内部神经元覆盖率，实现高效且有效的测试优先级排序。

提出的方法

• 提出一种 DNN 的统计视角，将误分类概率建模为集合不纯度，从而在无需检查模型内部结构的情况下实现高效估计。
• 使用基尼不纯度度量来量化 DNN 输出的不确定性，基尼值越高，表示误分类的可能性越大。
• 根据测试用例的基尼分数进行优先级排序，选择最有可能暴露错误行为的用例。
• 通过仅关注输出分布而避免依赖神经元覆盖率，从而绕过基于覆盖率方法固有的可扩展性和区分度问题。
• 将基于基尼的优先级排序集成到测试选择流程中，以在每单位标注成本下实现最大故障检测效果。
• 在标准图像分类数据集和主流 DNN 架构上通过实证评估验证该方法。

实验结果

研究问题

• RQ1 基于输出不确定性的统计度量是否能在识别 DNN 输入误分类方面优于传统的基于覆盖率的测试优先级排序方法？
• RQ2 在标注预算有限的情况下，DeepGini 在故障检测方面与 coverage-total 和 coverage-additional 方法相比效果如何？
• RQ3 DeepGini 是否能高效扩展到具有数百万参数和高维输入空间的大规模 DNN？
• RQ4 与基于覆盖率的方法相比，基于基尼的优先级排序是否能更早识别出引发故障的测试用例？

主要发现

• 在标注预算有限的情况下，DeepGini 显著优于 coverage-total 和 coverage-additional 方法，在识别误分类测试用例方面表现更优。
• 由 DeepGini 优先排序的测试用例在标注过程早期即实现更高的故障检测率，展现出更优的有效性。
• 该方法具有高效率，其计算开销远低于 coverage-additional 方法（后者具有 O(mn²) 的复杂度）。
• DeepGini 在多种 DNN 架构和数据集（包括 ImageNet 和 CIFAR-10）上均表现稳健，展现出一致的性能提升。
• 该方法通过聚焦输出不确定性，能有效识别边界情况和对抗性输入，即使在神经元覆盖率无法区分测试用例时亦能有效识别。
• 实证结果表明，DeepGini 仅需基于覆盖率方法所需标注工作量的一小部分，即可实现相当或更优的 DNN 鲁棒性提升。