[论文解读] Likelihood Ratios for Out-of-Distribution Detection

Jie Ren, Peter J. Liu+6 more|arXiv (Cornell University)|Jun 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 49被引用 8

一句话总结

本文提出了一种似然比方法，通过校正扭曲原始似然分数的混淆背景统计，以改进深度生成模型中的分布外（OOD）检测。该方法在基因组和图像数据集上显著优于基于似然的基线方法，在不需微调的情况下利用背景模型分离出与分布内相关特征，实现了最先进的OOD检测性能。

ABSTRACT

Discriminative neural networks offer little or no performance guarantees when deployed on data not generated by the same process as the training distribution. On such out-of-distribution (OOD) inputs, the prediction may not only be erroneous, but confidently so, limiting the safe deployment of classifiers in real-world applications. One such challenging application is bacteria identification based on genomic sequences, which holds the promise of early detection of diseases, but requires a model that can output low confidence predictions on OOD genomic sequences from new bacteria that were not present in the training data. We introduce a genomics dataset for OOD detection that allows other researchers to benchmark progress on this important problem. We investigate deep generative model based approaches for OOD detection and observe that the likelihood score is heavily affected by population level background statistics. We propose a likelihood ratio method for deep generative models which effectively corrects for these confounding background statistics. We benchmark the OOD detection performance of the proposed method against existing approaches on the genomics dataset and show that our method achieves state-of-the-art performance. We demonstrate the generality of the proposed method by showing that it significantly improves OOD detection when applied to deep generative models of images.

研究动机与目标

• 为解决真实世界机器学习部署中可靠的OOD检测这一关键挑战，特别是在医学基因组学中，模型需面对未见过的细菌序列的情况。
• 探究为何深度生成模型的原始似然分数在OOD检测中失效，尤其是由于群体水平背景统计的混淆影响。
• 开发一种可泛化的改进方法，通过校正这些背景统计来提升OOD检测性能，且无需重新训练。
• 创建并发布一个真实的基因组OOD基准数据集，以在生物学相关背景下实现OOD检测方法的可复现评估。
• 通过在基因组序列和图像数据上的成功应用，证明该方法在多种模态上的有效性。

提出的方法

• 提出一种似然比方法，将样本在分布内模型下的似然与在捕捉群体通用统计的背景模型下的似然进行比较。
• 在所有分布内和OOD类别合并的数据上训练背景模型，以表示通用统计模式（如核苷酸或像素频率分布）。
• 计算似然比为 log p(x|in-distribution model) - log p(x|background model)，以抑制共享背景特征的影响。
• 将似然比分数用作OOD检测指标，其中较低值表示更可能为OOD。
• 将该方法应用于基于自回归和变分自编码器的生成模型，覆盖基因组和图像数据。
• 使用分布内验证数据调优超参数，如模型架构、背景模型构成以及似然比阈值。

实验结果

研究问题

• RQ1 为何深度生成模型即使仅在分布内数据上训练，仍会为OOD输入分配比分布内输入更高的似然值？
• RQ2 群体水平背景统计（如DNA中的碱基组成或图像中的像素强度分布）在多大程度上会混淆基于似然的OOD检测？
• RQ3 通过减去背景统计的似然比方法是否能相比原始似然分数提升OOD检测性能？
• RQ4 所提出的方法在不同数据模态（如基因组序列和图像）之间具有多大程度的泛化能力？
• RQ5 在所提出的基准上，基因距离（或数据相似性）与OOD检测性能之间存在何种关系？

主要发现

• 似然比方法在OOD检测上显著优于原始似然分数，在基因组基准的Moorea OOD类别上实现了0.904的AUROC，优于基线方法的较低得分。
• 该方法在所提出的基因组OOD检测基准上达到最先进性能，表现出对未见细菌类别的优越鲁棒性。
• 似然比方法在AUROC与基因距离之间存在强正相关性（皮尔逊相关系数 r = 0.570），表明更不相似的OOD类别更容易被检测。
• 该方法在图像数据集上也提升了OOD检测性能，证明其在基因组之外的泛化能力。
• 该方法减轻了背景统计的混淆效应，否则会导致深度生成模型为OOD输入分配比分布内输入更高的似然值。
• 基于集成的分类器基线在Mucilaginibacter OOD类别上实现了更高的AUROC（0.910），但该似然比方法在多个难检测类别上表现更优，证明了其鲁棒性。