[论文解读] Enhanced Isotropy Maximization Loss: Seamless and High-Performance Out-of-Distribution Detection Simply Replacing the SoftMax Loss

David Macêdo, Teresa B. Ludermir|arXiv (Cornell University)|May 29, 2021

Anomaly Detection Techniques and Applications被引用 6

一句话总结

本文提出了一种增强型各向同性最大化损失（IsoMax+），在训练过程中替代标准的Softmax损失，实现无需超参数调优、额外数据或推理延迟的无缝高精度分布外（OOD）检测。通过结合等距化距离优化与最小距离得分，该方法在保持分类准确率的同时实现最先进的OOD检测性能，并支持高效推理。

ABSTRACT

Current out-of-distribution detection approaches usually present special requirements (e.g., collecting outlier data and hyperparameter validation) and produce side effects (e.g., classification accuracy drop and slow/inefficient inferences). Recently, entropic out-of-distribution detection has been proposed as a seamless approach (i.e., a solution that avoids all previously mentioned drawbacks). The entropic out-of-distribution detection solution uses the IsoMax loss for training and the entropic score for out-of-distribution detection. The IsoMax loss works as a drop-in replacement of the SoftMax loss (i.e., the combination of the output linear layer, the SoftMax activation, and the cross-entropy loss) because swapping the SoftMax loss with the IsoMax loss requires no changes in the model's architecture or training procedures/hyperparameters. In this paper, we perform what we call an isometrization of the distances used in the IsoMax loss. Additionally, we propose replacing the entropic score with the minimum distance score. Experiments showed that these modifications significantly increase out-of-distribution detection performance while keeping the solution seamless. Besides being competitive with or outperforming all major current approaches, the proposed solution avoids all their current limitations, in addition to being much easier to use because only a simple loss replacement for training the neural network is required. The code to replace the SoftMax loss with the IsoMax+ loss and reproduce the results is available at https://github.com/dlmacedo/entropic-out-of-distribution-detection.

研究动机与目标

• 解决现有OOD检测方法的局限性，包括对异常值数据的依赖、超参数调优需求以及分类准确率下降的问题。
• 通过修改训练目标，消除OOD检测中对输入预处理和对抗样本生成的需求。
• 通过增强各向同性与距离度量，改进IsoMax损失，以提升OOD检测性能。
• 开发一种在保持高分类准确率的同时支持快速、低功耗推理的解决方案。
• 建立一种与下游基于推理的OOD检测方法兼容的新训练基线，从而实现进一步的性能提升。

提出的方法

• 对原始IsoMax损失中使用的距离度量实施等距化处理，以提升特征空间的各向同性与泛化能力。
• 用最小距离得分（MDS）替代熵得分用于OOD检测，降低计算成本并提升检测性能。
• 将增强后的IsoMax+损失作为Softmax交叉熵损失的直接替换品，无需修改网络架构或训练流程。
• 在标准训练过程中使用IsoMax+损失训练神经网络，保留所有标准超参数与优化方法。
• 在推理阶段通过计算最后一层特征的最小距离得分实现OOD检测，无需额外前向传播或温度缩放。
• 通过使用IsoMax+训练，确保与现有基于推理的OOD检测方法（如ODIN、马氏距离、能量基方法）兼容，从而可通过后处理方法实现进一步性能提升。

实验结果

研究问题

• RQ1 通过等距化类间距离能否在不修改训练过程的前提下提升各向同性最大化效果，从而增强OOD检测性能？
• RQ2 用最小距离得分替代熵得分是否能在保持计算效率的同时提升OOD检测性能？
• RQ3 所提出的方法能否在无需异常值数据、超参数调优或输入预处理的情况下实现高OOD检测性能？
• RQ4 与标准Softmax训练相比，IsoMax+损失在与下游OOD检测方法结合使用时是否能保持分类准确率？
• RQ5 IsoMax+损失能否作为未来OOD检测方法的更优训练基线，尤其是在与基于推理的技术结合时？

主要发现

• 所提出的IsoMax+损失结合最小距离得分，在多个基准测试中实现了最先进的OOD检测性能，优于ODIN和基于马氏距离的方法。
• 该方法在无需输入预处理或温度调优的情况下，AUROC表现优于ODIN和马氏距离方法。
• 该方法将分类准确率保持在Softmax损失基线的1%以内，避免了其他OOD方法中常见的准确率下降问题。
• 推理过程保持快速且低功耗，无需额外前向传播或对抗操作，避免了如ODIN方法中出现的4倍延迟问题。
• 该方法完全无缝：仅需在训练中将Softmax损失替换为IsoMax+，无需更改模型架构或超参数。
• IsoMax+损失与现有基于推理的OOD检测方法兼容，并可通过如马氏距离或能量基评分等后处理方法进一步增强性能，实现更高检测精度。