[论文解读] A Variational Dirichlet Framework for Out-of-Distribution Detection

Wenhu Chen, Yilin Shen+2 more|arXiv (Cornell University)|Nov 18, 2018

Adversarial Robustness in Machine Learning参考文献 44被引用 14

一句话总结

本文提出了一种变分狄利克雷框架，将类别标签的不确定性建模为K维单纯形上的高阶分布，使用变分推断近似狄利克雷分布类别概率的真实后验。所学习后验分布的熵作为鲁棒的不确定性度量，在分布外检测基准上优于先前方法，尤其在引入对抗性判别训练后表现更优。

ABSTRACT

With the recently rapid development in deep learning, deep neural networks have been widely adopted in many real-life applications. However, deep neural networks are also known to have very little control over its uncertainty for unseen examples, which potentially causes very harmful and annoying consequences in practical scenarios. In this paper, we are particularly interested in designing a higher-order uncertainty metric for deep neural networks and investigate its effectiveness under the out-of-distribution detection task proposed by~\cite{hendrycks2016baseline}. Our method first assumes there exists an underlying higher-order distribution $\mathbb{P}(z)$, which controls label-wise categorical distribution $\mathbb{P}(y)$ over classes on the K-dimension simplex, and then approximate such higher-order distribution via parameterized posterior function $p_θ(z|x)$ under variational inference framework, finally we use the entropy of learned posterior distribution $p_θ(z|x)$ as uncertainty measure to detect out-of-distribution examples. Further, we propose an auxiliary objective function to discriminate against synthesized adversarial examples to further increase the robustness of the proposed uncertainty measure. Through comprehensive experiments on various datasets, our proposed framework is demonstrated to consistently outperform competing algorithms.

研究动机与目标

• 解决现有分布外检测方法将偶然不确定性与认知不确定性混淆的局限性。
• 开发一种高阶不确定性度量，以区分由数据噪声引起的不确定性与由分布偏移引起的不确定性。
• 将类别概率的底层分布建模为狄利克雷分布，以捕捉高阶不确定性。
• 通过引入针对对抗性样本的辅助判别目标，提升不确定性估计的鲁棒性。
• 通过结合变分推断与对抗性损失的统一训练目标，在多种架构和数据集上实现泛化。

提出的方法

• 将标签级类别分布建模为从单纯形 S_K 上的高阶分布 P(z) 抽样的 K 维随机变量 z。
• 使用神经网络通过变分推断参数化狄利克雷后验 p_θ(z|x)，以近似真实后验 p(z|y)。
• 将不确定性定义为变分后验的熵 H(p_θ(z|x))，以量化预测中的认知不确定性。
• 引入辅助判别目标，以区分分布内数据与 FGSM 生成的对抗性样本。
• 将变分下界与判别目标结合为统一训练目标，实现端到端优化。
• 以闭式形式计算狄利克雷后验的熵，实现高效且可扩展的不确定性估计。

实验结果

研究问题

• RQ1 将标签分布建模为高阶狄利克雷分布是否能通过分离认知不确定性与偶然不确定性，提升分布外检测性能？
• RQ2 使用变分狄利克雷后验的熵是否能提供比 Softmax 置信度或其他不确定性度量更可靠的不确定性估计？
• RQ3 所提出的辅助判别目标在提升对抗性扰动下分布外检测的鲁棒性方面效果如何？
• RQ4 该框架是否能在不同网络架构和数据集（包括 CIFAR100 等挑战性数据集）上实现泛化？
• RQ5 先验设定与平衡超参数对最终检测性能有何影响？

主要发现

• 所提出的变分狄利克雷框架在多个分布外检测基准（包括 CIFAR10 和 CIFAR100）上持续优于现有方法。
• 使用非均匀、信息丰富的先验（保留真实标签信息）可获得比均匀先验更高的检测准确率。
• 引入对抗性判别目标显著提升了所有架构与数据集上的检测性能，尤其在 CIFAR100 上增益更为明显。
• 变分目标与判别目标之间平衡因子为 0.1 时性能最优，过小或过大均导致性能下降。
• 该方法实现了最先进水平的 AUROC 分数，证明其在分离分布内与分布外数据方面的有效性。
• 狄利克雷熵的闭式计算使不确定性估计无需蒙特卡洛采样，相比贝叶斯神经网络更具效率。