[论文解读] Generating and Detecting True Ambiguity: A Forgotten Danger in DNN Supervision Testing

Michael Weiß, André García Gómez+1 more|arXiv (Cornell University)|Jul 21, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出 AmbiGuess，一种新颖方法，通过在正则化对抗自编码器的潜在空间中进行梯度引导采样，生成与模型无关、经人工标注的模糊图像，用于测试深度神经网络（DNN）监督器。主要贡献在于首次全面的实证研究，表明监督器在检测特定不确定性类型方面表现优异：基于 Softmax 的方法在模糊性检测上表现强劲，但在对抗性/损坏输入上表现较弱；而 OOD 检测器在真实模糊性上的表现则较差。

ABSTRACT

Deep Neural Networks (DNNs) are becoming a crucial component of modern software systems, but they are prone to fail under conditions that are different from the ones observed during training (out-of-distribution inputs) or on inputs that are truly ambiguous, i.e., inputs that admit multiple classes with nonzero probability in their labels. Recent work proposed DNN supervisors to detect high-uncertainty inputs before their possible misclassification leads to any harm. To test and compare the capabilities of DNN supervisors, researchers proposed test generation techniques, to focus the testing effort on high-uncertainty inputs that should be recognized as anomalous by supervisors. However, existing test generators aim to produce out-of-distribution inputs. No existing model- and supervisor independent technique targets the generation of truly ambiguous test inputs, i.e., inputs that admit multiple classes according to expert human judgment. In this paper, we propose a novel way to generate ambiguous inputs to test DNN supervisors and used it to empirically compare several existing supervisor techniques. In particular, we propose AmbiGuess to generate ambiguous samples for image classification problems. AmbiGuess is based on gradient-guided sampling in the latent space of a regularized adversarial autoencoder. Moreover, we conducted what is -- to the best of our knowledge -- the most extensive comparative study of DNN supervisors, considering their capabilities to detect 4 distinct types of high-uncertainty inputs, including truly ambiguous ones. We find that the tested supervisors' capabilities are complementary: Those best suited to detect true ambiguity perform worse on invalid, out-of-distribution and adversarial inputs and vice-versa.

研究动机与目标

• 解决当前缺乏标准化、经人工验证的模糊测试数据以评估 DNN 监督器的问题，尤其针对偶然性不确定性。
• 指出现有测试生成技术集中于分布外（OOD）输入，却忽略了存在多个有效标签的真正模糊输入。
• 提出一种与模型和监督器无关的方法，用于生成多样、带标签的模糊图像，适用于图像分类任务。
• 开展迄今为止最全面的 DNN 监督器比较评估，评估其检测四种不同高不确定性输入的能力：正常、模糊、对抗性及损坏输入。
• 通过发布两个预编译的模糊数据集（MNIST 和 Fashion-MNIST），实现对新 DNN 监督器的公平且可靠的评估。

提出的方法

• 提出 AmbiGuess，一种在正则化对抗自编码器潜在空间中进行梯度引导采样的技术，以生成模糊图像。
• 利用保留语义结构的潜在空间，通过类别条件梯度实现对模糊区域的受控扰动。
• 通过人工判断和统计一致性验证标签多样性，确保生成样本对假设的“权威”（如人类专家）具有模糊性。
• 基于 MNIST 和 Fashion-MNIST 分别生成两个数据集——AmbiMNIST 和 AmbiFashionMNIST，均附有人工验证的模糊标签。
• 应用四种度量（如标签熵、标注者间一致性、模型置信度和多样性）验证模糊性和数据质量。
• 使用标准指标（如 AUC-ROC 和 F1 分数）在四种输入类型（正常、模糊、对抗性、损坏）上评估 16 种 DNN 监督器。

实验结果

研究问题

• RQ1 我们能否以与 DNN 和监督器无关的方式，生成多样、带标签且经人工验证的模糊图像，用于图像分类任务？
• RQ2 现有 DNN 监督器在检测真正模糊输入方面，相较于其他不确定性类型（如对抗性、损坏或无效输入）的表现如何？
• RQ3 不同监督器技术之间是否存在互补的检测能力，即某些方法在模糊性检测上表现优异，但在其他不确定性类型上表现欠佳？
• RQ4 基于 Softmax 的监督器（如 MC-Dropout、集成方法）在检测真实模糊性方面是否显著优于基于 OOD 检测的监督器？
• RQ5 所提出的 AmbiGuess 生成的数据集能否用于公平且可靠地评估新 DNN 监督器在偶然性不确定性检测方面的能力？

主要发现

• AmbiGuess 在四项定量模糊性指标（包括标签熵和标注者间一致性）上显著优于唯一现有的模糊数据集（AmbiguousMNIST）。
• 基于 Softmax 的监督器（如 MC-Dropout、集成方法）在模糊输入上取得了高 AUC-ROC 分数（如 >0.95），但在对抗性和损坏输入上表现较差，部分情况下 AUC-ROC 低于 0.60。
• 基于 OOD 检测的监督器（如 Surprise Adequacy、基于自编码器的方法）在对抗性和损坏输入上表现强劲（AUC-ROC >0.90），但无法检测分布内模糊输入，AUC-ROC <0.55。
• 研究揭示了明显的权衡：针对某一类不确定性（如模糊性）优化的监督器，在其他类型（如 OOD）上效果较差，表明其检测能力具有互补性。
• 结果在四种不同 DNN 架构（如 LeNet、VGG 类似结构、ResNet）上保持一致，证实了研究发现的稳健性，即使在架构差异下也成立。
• 作者发布了两个开源模糊数据集（AmbiMNIST 和 AmbiFashionMNIST），并采用宽松许可协议，以支持未来研究和工具评估。