[论文解读] Evaluating the Robustness of Test Selection Methods for Deep Neural Networks

Qiang Hu, Yuejun Guo+5 more|arXiv (Cornell University)|Jul 29, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

本文评估了11种深度神经网络测试选择方法的鲁棒性，揭示了在对抗性测试数据下故障检测与性能估计方法中的关键缺陷。研究发现，依赖模型不确定性或中间层输出的方法表现急剧下降——测试覆盖率最高下降86.85%——且在选择不合适的层时甚至可能劣于随机选择，导致模型修复无效和性能估计不准确。

ABSTRACT

Testing deep learning-based systems is crucial but challenging due to the required time and labor for labeling collected raw data. To alleviate the labeling effort, multiple test selection methods have been proposed where only a subset of test data needs to be labeled while satisfying testing requirements. However, we observe that such methods with reported promising results are only evaluated under simple scenarios, e.g., testing on original test data. This brings a question to us: are they always reliable? In this paper, we explore when and to what extent test selection methods fail for testing. Specifically, first, we identify potential pitfalls of 11 selection methods from top-tier venues based on their construction. Second, we conduct a study on five datasets with two model architectures per dataset to empirically confirm the existence of these pitfalls. Furthermore, we demonstrate how pitfalls can break the reliability of these methods. Concretely, methods for fault detection suffer from test data that are: 1) correctly classified but uncertain, or 2) misclassified but confident. Remarkably, the test relative coverage achieved by such methods drops by up to 86.85%. On the other hand, methods for performance estimation are sensitive to the choice of intermediate-layer output. The effectiveness of such methods can be even worse than random selection when using an inappropriate layer.

研究动机与目标

• 研究现有深度神经网络测试选择方法在非标准或对抗性测试数据下的鲁棒性。
• 识别影响故障检测与性能估计方法可靠性的设计层面缺陷。
• 通过实证评估，分析这些缺陷如何在不同数据集和模型架构下降低方法的有效性。
• 为实际开发与评估更具鲁棒性的测试选择方法提供可操作的指导建议。

提出的方法

• 从顶级会议中调研了11种测试选择方法，将其分类为故障检测与性能估计两类。
• 分析了这些方法在设计层面的脆弱性，特别是其对模型置信度、输出熵或中间层表征的依赖。
• 设计了一种基于遗传算法的测试生成方法，以生成能暴露方法缺陷的对抗性测试数据，包括正确分类但高不确定性的样本以及错误分类但低不确定性的样本。
• 在五个数据集（如CIFAR100、Traffic-sign）上评估了方法性能，每个数据集使用两种模型架构，测量测试覆盖率与模型修复效果。
• 对比了不同中间层在性能估计方法中的表现，以评估层敏感性。
• 使用50和180两种标注预算，评估性能估计的准确性，并与随机选择进行比较。

实验结果

研究问题

• RQ1 故障检测方法在何种条件下会失效，其有效性下降程度如何？
• RQ2 包含高不确定性但预测正确或低不确定性但分类错误的测试数据，如何影响测试选择的可靠性？
• RQ3 性能估计方法在多大程度上依赖于中间层的选择以获取特征表示？
• RQ4 性能估计方法是否可能劣于随机选择？如果是，其发生条件是什么？
• RQ5 这些缺陷对通过微调进行模型修复的实际影响是什么？

主要发现

• 当遇到正确分类但高不确定性的数据时，故障检测方法的有效性平均下降52.49%。
• 当遇到错误分类但低不确定性的数据时，故障检测方法的有效性平均下降39.80%。
• 在模型修复场景中，当暴露于Type 1和Type 2数据时，PRIMA、TestRank和DSA等测试选择方法的表现劣于随机选择，准确率最高下降5.02%。
• 当使用不合适的中间层时，性能估计方法的表现可能劣于随机选择，CES-2和PACE-1在某些配置下甚至劣于随机选择。
• 性能估计方法的有效性对层的选择极为敏感，最优层在不同数据集和模型间差异显著。
• 当使用非鲁棒方法选择的有缺陷测试数据进行修复时，高达80%的修复模型性能下降，凸显了标注资源浪费与模型退化的风险。