[论文解读] Morse Neural Networks for Uncertainty Quantification

Benoît Dherin, Huiyi Hu+3 more|arXiv (Cornell University)|Jul 2, 2023

Anomaly Detection Techniques and ApplicationsComputer Science被引用 3

一句话总结

本文提出Morse神经网络，一种深度生成模型，通过将模式建模为高维子流形来泛化未归一化的高斯密度，从而实现统一的不确定性量化。通过在特征嵌入上最小化KL散度损失，该模型同时提供分布外（OOD）检测、校准的不确定性、生成采样以及距离感知分类——在使用监督微调的情况下，CIFAR-100 OOD检测的AUROC达到0.969。

ABSTRACT

We introduce a new deep generative model useful for uncertainty quantification: the Morse neural network, which generalizes the unnormalized Gaussian densities to have modes of high-dimensional submanifolds instead of just discrete points. Fitting the Morse neural network via a KL-divergence loss yields 1) a (unnormalized) generative density, 2) an OOD detector, 3) a calibration temperature, 4) a generative sampler, along with in the supervised case 5) a distance aware-classifier. The Morse network can be used on top of a pre-trained network to bring distance-aware calibration w.r.t the training data. Because of its versatility, the Morse neural networks unifies many techniques: e.g., the Entropic Out-of-Distribution Detector of (Macêdo et al., 2021) in OOD detection, the one class Deep Support Vector Description method of (Ruff et al., 2018) in anomaly detection, or the Contrastive One Class classifier in continuous learning (Sun et al., 2021). The Morse neural network has connections to support vector machines, kernel methods, and Morse theory in topology.

研究动机与目标

• 为解决深度学习中不确定性量化的关键挑战，特别是针对分布外（OOD）输入的情况。
• 在单一深度生成框架下统一不同技术，涵盖OOD检测、异常检测与校准分类。
• 通过将数据模式建模为子流形而非离散点，实现距离感知分类。
• 提供一种灵活、端到端的方法，可直接应用于预训练网络，以提升不确定性估计性能。

提出的方法

• Morse神经网络使用深度特征φθ(x)与特征空间中固定参考点a之间的核相似性来建模未归一化密度μ(x) = K(φθ(x), a)。
• 在无监督情况下，通过最小化经验数据分布与基于核的密度之间的KL散度进行训练，并引入从均匀采样点获得的正则化项。
• 在监督学习中，通过使用独热编码标签建模联合密度μ(x,y) = K(φθ(x), y)，实现联合密度估计与距离感知分类。
• 模型使用高斯、柯西和拉普拉斯等核函数来控制密度形状及其与不确定性及OOD检测的关系。
• 分类器定义为μ(y|x) = K(φθ(x), y) / ∑y′ K(φθ(x), y′)，当使用拉普拉斯核时，其与基于熵的OOD检测器一致。
• 通过从随机初始点出发的梯度流实现生成采样，灵感源自泊松生成模型。

Figure 1: Top row (distance-aware calibration): Left: Probability output of a ResNet trained to separate the noisy two-moons dataset. Middle and Right: Probability plots of the same ResNet but with its logits calibrated using the unsupervised Gaussian Morse temperature at decreasing kernel bandwidth

实验结果

研究问题

• RQ1 单一深度生成模型能否统一OOD检测、不确定性校准与生成采样？
• RQ2 将模式建模为子流形相较于点模式密度，如何提升不确定性量化性能？
• RQ3 Morse网络是否可在不微调主干网络的前提下，用于增强预训练模型的不确定性估计？
• RQ4 监督式Morse网络是否在OOD检测性能上优于无监督变体？
• RQ5 Morse网络与现有方法（如SVDD、SNGP及熵基OOD检测器）之间存在何种关系？

主要发现

• 监督式Morse网络将CIFAR-100 OOD检测的AUROC从无监督情况下的0.955提升至0.969，表明其泛化能力得到增强。
• 使用拉普拉斯核的Morse网络复现了Macêdo等人（2021）提出的基于熵的OOD分类器，验证了其设计选择的合理性。
• 使用柯西核时，模型恢复出类似于SNGP的温度参数，但采用学习得到的方差而非矩阵求逆。
• 使用高斯核的无监督Morse网络退化为单类深度SVDD目标，证实了其理论基础的可靠性。
• 该模型在构造上即支持距离感知分类，不确定性随与训练数据模式距离的增加而上升。
• 可视化结果表明，监督式Morse网络比无监督版本更准确地捕捉了分离的模式子流形。

Figure 2: Supervised Morse model: The supervised Morse model is able to learn disconnected mode submanifolds for each of the labels. The model architecture and training setup is the same as the unsupervised case described above, except for the output layer that has a dimension of 2 (one dimension pe