[论文解读] Deep Verifier Networks: Verification of Deep Discriminative Models with Deep Generative Models

Tong Che, Xiaofeng Liu+5 more|arXiv (Cornell University)|Nov 18, 2019

Adversarial Robustness in Machine Learning参考文献 67被引用 34

一句话总结

DVNs 通过用解耦的条件变分自编码器来建模 p(x|y)，验证判别模型的预测，从而在不重新训练分类器的情况下实现对分布外（out-of-distribution）和对抗输入的鲁棒检测。

ABSTRACT

AI Safety is a major concern in many deep learning applications such as autonomous driving. Given a trained deep learning model, an important natural problem is how to reliably verify the model's prediction. In this paper, we propose a novel framework -- deep verifier networks (DVN) to verify the inputs and outputs of deep discriminative models with deep generative models. Our proposed model is based on conditional variational auto-encoders with disentanglement constraints. We give both intuitive and theoretical justifications of the model. Our verifier network is trained independently with the prediction model, which eliminates the need of retraining the verifier network for a new model. We test the verifier network on out-of-distribution detection and adversarial example detection problems, as well as anomaly detection problems in structured prediction tasks such as image caption generation. We achieve state-of-the-art results in all of these problems.

研究动机与目标

• 在安全关键场景中推动对深度模型预测的可靠验证。
• 提出一个使用深度生成模型来估计 p(x|y) 并验证输入标签一致性的框架。
• 引入一个解耦的条件 VAE，以确保标签信息在潜在空间中被保留。
• 实现对分布外、对抗性以及错误分类输入的统一检测，而无需重新训练分类器。

提出的方法

• 用改进的条件变分自编码器将 q(x|y) 训练为对 p(x|y) 的近似。
• 施加解耦约束以尽量减小潜在变量 z 与标签 y 之间的互信息，防止忽略 y。
• 用 k 样本重要性加权界 L_k 来估计 log p(x|y) 以对验证进行评分。
• 使用基于 GAN 的判别器 D_z 将潜在分布 q(z) 与高斯先验 p(z) 对齐，并纠正用于似然估计的先验。
• 使用比对验证阈值 delta 的 L_k 进行阈值化以将输入标记为 ID 或 OOD。

实验结果

研究问题

• RQ1 在不重新训练分类器的情况下，深度验证网络是否能够在同一分布内输入与分布外输入之间进行准确区分？
• RQ2 用解耦的条件 VAE 对 p(x|y) 进行建模是否在跨任务的对抗输入和异常情况上提供鲁棒性？
• RQ3 DVN 框架是否可以应用于结构化预测，如图像字幕生成，而不仅仅是标准分类？
• RQ4 将 y 从 z 解耦对验证性能有何影响？
• RQ5 密度估计器的选择（VAE 与 PixelCNN/Glow）如何影响 OOD/对抗检测性能？

主要发现

• DVN 在多个数据集和骨干网络上实现了对 OOD 和对抗检测的最先进性能。
• 将 y 与 z 解耦是关键，显著提高了验证指标。
• 用 PixelCNN 或 Glow 替代 VAE 通常劣于 DVN，凸显了所提方法的鲁棒性。
• 验证阈值可以使用同分布的验证数据设定，而不需要 OOD 样本，提升实用性。
• DVN 可以在无需重新训练分类器的情况下推广到结构化预测任务，如图像字幕生成。