[论文解读] Data Sanity Check for Deep Learning Systems via Learnt Assertions

Haochuan Lu, Huanlin Xu+3 more|ArXiv.org|Sep 6, 2019

Adversarial Robustness in Machine Learning参考文献 49被引用 5

一句话总结

本文提出 SaneDL，一种轻量级、非侵入式工具，通过基于自编码器的断言执行数据合理性检查，提升深度学习系统的可靠性。通过检测中间层激活中的行为偏差，SaneDL 能够以高精度有效识别出无效的真实世界输入，在使用 MNIST/Fashion-MNIST 和 GTSRB/FlickrLogos-27 数据集的两个实际场景中，AUC 分数均超过 0.97。

ABSTRACT

Reliability is a critical consideration to DL-based systems. But the statistical nature of DL makes it quite vulnerable to invalid inputs, i.e., those cases that are not considered in the training phase of a DL model. This paper proposes to perform data sanity check to identify invalid inputs, so as to enhance the reliability of DL-based systems. We design and implement a tool to detect behavior deviation of a DL model when processing an input case. This tool extracts the data flow footprints and conducts an assertion-based validation mechanism. The assertions are built automatically, which are specifically-tailored for DL model data flow analysis. Our experiments conducted with real-world scenarios demonstrate that such an assertion-based data sanity check mechanism is effective in identifying invalid input cases.

研究动机与目标

• 解决深度学习系统中无效输入处理这一关键挑战，因为神经网络的统计特性可能导致不可预测的行为。
• 通过检测偏离训练分布的异常输入来提升系统可靠性。
• 开发一种非侵入式、即插即用的机制，无需修改目标深度学习模型。
• 实现实时运行时对真实世界无效输入的有效检测，而非依赖人工生成或操纵的测试用例。

提出的方法

• 在预训练的深度神经网络（DNN）的中间层插入自编码器（AE）网络作为断言。
• 使用来自有效训练数据的中间层激活训练自编码器，以学习重建函数。
• 对每个输入，计算自编码器在中间特征上的重建损失；较高的损失表明可能存在无效性。
• 使用比例系数 δ（2–4）对有效训练样本的平均重建损失进行动态阈值设定。
• 仅当所有断言损失均低于其对应阈值时，才将输入验证为有效。
• 使用真阳性率（TPR）、假阳性率（FPR）和 ROC-AUC 作为评估指标，以衡量不同 δ 值和模型架构下的检测性能。

实验结果

研究问题

• RQ1 是否能够在不修改模型架构的前提下，通过基于断言的机制检测深度学习系统中的无效输入？
• RQ2 基于自编码器的异常检测在识别与训练分布不同的真实世界无效输入方面效果如何？
• RQ3 阈值缩放系数 δ 对真正例率与假正例率之间权衡的影响程度如何？
• RQ4 所提出的方法是否能在不同网络架构（如 LeNet、AlexNet、VGG16）和真实世界数据集（如 MNIST、GTSRB、FlickrLogos-27）之间实现泛化？

主要发现

• 在使用 AlexNet 的 Fashion-MNIST 与 MNIST 混合数据集上，SaneDL 实现了 0.9975 的 TPR 和 0.0221 的 FPR，展现出强大的检测能力。
• 在 GTSRB 与 FlickrLogos-27 混合数据集上，SaneDL 在 AlexNet 上取得 0.9808 的 AUC 分数，在 VGG16 上取得 0.9716 的 AUC 分数，表明其在不同架构下均具备稳健性能。
• 即使无效输入为训练期间未见过的真实世界示例（如手写数字或商业标识），该方法仍保持高检测精度。
• 最优的阈值缩放系数 δ 落在 [2, 4] 范围内，可在各类实验中平衡敏感性与特异性。
• SaneDL 以非侵入方式运行，无需对目标深度学习模型进行重训练或架构修改。
• 该框架基于数据流中行为偏差成功识别出无效输入，证实此类偏差是输入异常的可靠指标。