[论文解读] Input complexity and out-of-distribution detection with likelihood-based generative models

Joan Serrà, David Álvarez+4 more|arXiv (Cornell University)|Sep 25, 2019

Adversarial Robustness in Machine Learning参考文献 30被引用 98

一句话总结

论文展示输入复杂性会偏置来自生成模型的似然性，并提出一个类似似然比的 OOD 分数 S = -log p(x|M) - L(x)，其中 L(x) 来自无损压缩的复杂度估计，在没有超参数的情况下，在多样数据集和模型上实现具有竞争力的 OOD 检测。

ABSTRACT

Likelihood-based generative models are a promising resource to detect out-of-distribution (OOD) inputs which could compromise the robustness or reliability of a machine learning system. However, likelihoods derived from such models have been shown to be problematic for detecting certain types of inputs that significantly differ from training data. In this paper, we pose that this problem is due to the excessive influence that input complexity has in generative models' likelihoods. We report a set of experiments supporting this hypothesis, and use an estimate of input complexity to derive an efficient and parameter-free OOD score, which can be seen as a likelihood-ratio, akin to Bayesian model comparison. We find such score to perform comparably to, or even better than, existing OOD detection approaches under a wide range of data sets, models, model sizes, and complexity estimates.

研究动机与目标

• 证明输入复杂性对生成模型的似然性具有强偏倚。
• 提出一个基于复杂度调整的 OOD 分数以检测分布外输入。
• 将所提分数与现有的 OOD 方法在多样数据集和模型上进行比较。
• 提供将该分数理论性地解读为似然比检验的解释。
• 展示该方法的实用性且参数无关的可应用性。

提出的方法

• 在 CIFAR10/FashionMNIST 类数据集上训练自回归和可逆生成模型（PixelCNN++ 和 Glow）以获得对数似然。
• 通过使用无损压缩器（PNG, JPEG2000, FLIF）得到的归一化压缩长度来估计输入复杂度 L(x)。
• 定义 OOD 分数 S(x) = -ell_M(x) - L(x)，其中 ell_M(x) 是模型 M 下的对数似然。
• 将 S(x) 解释为在通用压缩器 M0 下的似然比检验统计量。
• 使用 AUROC 作为主要指标，在多组分布内外的对上评估 S。
• 探索模型规模和压缩器选择对 S 性能的影响。

实验结果

研究问题

• RQ1 输入复杂性能否解释基于似然的 OOD 检测在生成模型中的失败？
• RQ2 基于复杂度调整的似然分数是否在多样数据集和模型上提升 OOD 检测？
• RQ3 提出的分数与现有的基于生成和基于分类的 OOD 方法相比如何？
• RQ4 该分数是否参数无关且对模型规模和压缩器选择鲁棒？
• RQ5 该方法是否可以在贝叶斯模型比较或 MDL 原理框架内解读？

主要发现

• 来自生成模型的似然性与输入复杂性呈强负相关，有时能解释对数似然性方差的大部分。
• 通过 L(x) 的基于复杂度的调整得到一个参数无关的 OOD 分数 S，在许多数据集上相较于仅使用 -ell_M(x) 提高了 AUROC。
• 对于 CIFAR10 训练的模型，S 在若干数据集上的 AUROC 通常超过 0.7，且在多数据集接近 0.9–1.0，优于单独的似然性。
• S 与现有的 classifier- 和 generative-based OOD 方法具有竞争力，在很多情况下优于它们，同时除了模型和压缩器的选择外，没有其他超参数。
• 更大规模的生成模型和更好的压缩器往往提升 S 的判别性能。