[论文解读] Dream the Impossible: Outlier Imagination with Diffusion Models

Xuefeng Du, Yiyou Sun+2 more|arXiv (Cornell University)|Sep 23, 2023

Anomaly Detection Techniques and Applications被引用 8

一句话总结

简短结论：Dream-ood 使用扩散模型在像素空间以条件化的方式对齐分布内数据，生成照片级真实感的异常样本，并用它们来正则化和提升 OOD 检测。它还显示出对 ID 泛化的潜在提升。

ABSTRACT

Utilizing auxiliary outlier datasets to regularize the machine learning model has demonstrated promise for out-of-distribution (OOD) detection and safe prediction. Due to the labor intensity in data collection and cleaning, automating outlier data generation has been a long-desired alternative. Despite the appeal, generating photo-realistic outliers in the high dimensional pixel space has been an open challenge for the field. To tackle the problem, this paper proposes a new framework DREAM-OOD, which enables imagining photo-realistic outliers by way of diffusion models, provided with only the in-distribution (ID) data and classes. Specifically, DREAM-OOD learns a text-conditioned latent space based on ID data, and then samples outliers in the low-likelihood region via the latent, which can be decoded into images by the diffusion model. Different from prior works, DREAM-OOD enables visualizing and understanding the imagined outliers, directly in the pixel space. We conduct comprehensive quantitative and qualitative studies to understand the efficacy of DREAM-OOD, and show that training with the samples generated by DREAM-OOD can benefit OOD detection performance. Code is publicly available at https://github.com/deeplearning-wisc/dream-ood.

研究动机与目标

• 通过辅助数据正则化降低过度自信来 motivate 并解决 OOD 检测问题。
• 无需人工筛选，实现异常数据的自动生成，进而获得高分辨率、易于人类解读的异常样本。
• 利用文本条件潜在空间实现像素空间中信息丰富的异常样本采样。
• 证明合成引导的正则化能提升在标准基准上的 OOD 检测性能。

提出的方法

• 通过训练图像编码器使图像嵌入与扩散模型的代币嵌入在各类别上对齐，学习一个文本条件的在分布内数据潜在空间。
• 在文本条件潜在空间中采样低似然嵌入，并使用扩散模型将其解码为像素空间的异常样本。
• 用一个鼓励 ID 与生成的 OOD 图像分离的损失（L_ood）结合标准交叉熵（L_CE）来对 ID 分类器进行正则化。
• 在边界 ID 嵌入周围使用基于 k 最近邻的采样策略来生成接近 OOD 的样本。
• 可选地将 Dream-ood 扩展为 Dream-id，通过采样类似 ID 的内点来提升对分布偏移的泛化。

实验结果

研究问题

• RQ1 扩散模型是否可以被引导以条件化地生成高分辨率、照片级真实感的异常样本，且以 ID 数据为条件？
• RQ2 在像素空间合成的异常样本是否比潜在空间或随机提示更能提升 OOD 检测？
• RQ3 提出的文本条件潜在空间是否能够实现对所设想异常样本的可解释可视化？
• RQ4 合成异常样本在作为数据增强时是否也能提升对 ID 的泛化？

主要发现

• Dream-ood 生成有意义、分辨率高的异常样本，与 ID 数据存在偏离且可被人类解读。
• 使用 Dream-ood 生成的样本进行训练，在多个数据集和基线上提升 OOD 检测性能，且常常超越以往的合成方法。
• Dream-ood 能实现对设想异常样本的可视化，与先前的潜在空间方法不同，且在像素空间的真实感方面显示出优势。
• 较温和的正则化权重可获得最佳的 OOD 性能，过强的正则化可能带来负面影响。
• Dream-id 证明该合成框架也能在分布偏移基准上提升对 ID 的泛化。