[论文解读] DenseHybrid: Hybrid Anomaly Detection for Dense Open-set Recognition

Matej Grcić, Petra Bevandić+1 more|arXiv (Cornell University)|Jul 6, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

DenseHybrid 提出了一种新颖的密集开放集识别混合异常检测框架，通过结合未归一化的分布进行生成式似然估计与判别式数据后验预测，避免了难以计算的归一化常数。通过在分布内和分布外数据上联合训练，该方法在密集异常检测基准上实现了最先进性能，且相对于标准语义分割模型的计算开销可忽略不计。

ABSTRACT

Anomaly detection can be conceived either through generative modelling of regular training data or by discriminating with respect to negative training data. These two approaches exhibit different failure modes. Consequently, hybrid algorithms present an attractive research goal. Unfortunately, dense anomaly detection requires translational equivariance and very large input resolutions. These requirements disqualify all previous hybrid approaches to the best of our knowledge. We therefore design a novel hybrid algorithm based on reinterpreting discriminative logits as a logarithm of the unnormalized joint distribution $\hat{p}(\mathbf{x}, \mathbf{y})$. Our model builds on a shared convolutional representation from which we recover three dense predictions: i) the closed-set class posterior $P(\mathbf{y}|\mathbf{x})$, ii) the dataset posterior $P(d_{in}|\mathbf{x})$, iii) unnormalized data likelihood $\hat{p}(\mathbf{x})$. The latter two predictions are trained both on the standard training data and on a generic negative dataset. We blend these two predictions into a hybrid anomaly score which allows dense open-set recognition on large natural images. We carefully design a custom loss for the data likelihood in order to avoid backpropagation through the untractable normalizing constant $Z(θ)$. Experiments evaluate our contributions on standard dense anomaly detection benchmarks as well as in terms of open-mIoU - a novel metric for dense open-set performance. Our submissions achieve state-of-the-art performance despite neglectable computational overhead over the standard semantic segmentation baseline.

研究动机与目标

• 为解决纯生成式或判别式方法在密集异常检测中表现出的特定失败模式。
• 实现端到端训练的混合模型，以像素级分辨率处理大尺寸自然图像。
• 设计一种方法，避免在似然估计中反向传播难以计算的归一化常数。
• 通过支持开放集识别检测异常像素，同时保持对正常样本的高精度，提升实际部署中的鲁棒性。
• 引入一种新的评估指标 open-mIoU，用于评估密集开放集识别场景下的性能表现。

提出的方法

• 模型使用共享的卷积主干网络生成三种密集预测：类别后验 P(y|x)、数据后验 P(d_in|x)，以及未归一化的数据似然 p̂(x)。
• 未归一化的似然 p̂(x) 通过分类头输出的对数几率指数之和计算，避免了计算难以处理的分区函数 Z(θ)。
• 数据后验 P(d_in|x) 通过独立分支学习，利用通用的负样本数据集（如 ADE20k）区分分布内与分布外数据。
• 混合异常得分定义为 (1 - P(d_in|x)) / p̂(x)，结合判别式与生成式信号以提升检测性能。
• 设计了一种自定义损失函数，使似然头的训练无需对 Z(θ) 进行梯度计算，从而实现稳定端到端优化。
• 模型在混合内容图像上进行微调，通过粘贴负样本实例，提升对分布外模式的泛化能力。

实验结果

研究问题

• RQ1 结合生成式似然与判别式数据后验的混合异常检测框架，能否有效提升密集开放集识别的性能？
• RQ2 如何在不计算难以处理的归一化常数的前提下，有效利用未归一化的似然估计进行密集异常检测？
• RQ3 结合判别式与生成式信号是否能相比单一方法在分布外像素上实现更好的泛化能力？
• RQ4 此类混合模型能否以接近标准语义分割模型的计算开销实现端到端训练？
• RQ5 所提出的 open-mIoU 指标能否准确反映正常样本分割精度与异常检测性能之间的权衡？

主要发现

• DenseHybrid 在标准密集异常检测基准上达到最先进性能，在 Fishyscapes 上 AP 达 46.1%，在 StreetHazards 上达 45.8%，优于先前方法。
• 混合异常得分 (1 - P(d_in|x)) / p̂(x) 在 Fishyscapes 上达到 63.8% AP，显著优于单独的生成式（60.5%）与判别式（42.9%）组件。
• 在两百万像素图像上，模型仅增加 0.1 GFLOPs 和 2.8ms 推理时间，计算开销可忽略不计。
• 在 StreetHazards 数据集上，DenseHybrid 达到 45.8% open-mIoU，显著优于最大对数几率基线及其他 SOTA 方法。
• 消融研究证实，混合得分在所有指标上均持续提升性能，Fishyscapes 上 FPR95 降低至 4.9%，表明其具备强大的异常检测能力。
• 所提方法支持实时推理，在 RTX3090 上达到 15.7 帧每秒，适用于自动驾驶系统等实际部署场景。