[论文解读] Improving Entropic Out-of-Distribution Detection using Isometric Distances and the Minimum Distance Score.

David Macêdo, Teresa B. Ludermir|arXiv (Cornell University)|May 30, 2021

Anomaly Detection Techniques and Applications参考文献 30被引用 4

一句话总结

该论文通过在IsoMax损失中对距离进行等距化处理，并用最小距离得分替代熵得分，改进了基于熵的分布外检测方法。这些修改在不改变模型架构或训练过程的前提下提升了检测性能，保持了原始方法的无缝特性，同时实现了更优的分布外检测准确率。

ABSTRACT

Current out-of-distribution detection approaches usually present special requirements (e.g., collecting outlier data and hyperparameter validation) and produce side effects (classification accuracy drop and slow/inefficient inferences). Recently, entropic out-of-distribution detection has been proposed as a seamless approach (i.e., a solution that avoids all the previously mentioned drawbacks). The entropic out-of-distribution detection solution comprises the IsoMax loss for training and the entropic score for out-of-distribution detection. The IsoMax loss works as a SoftMax loss drop-in replacement because swapping the SoftMax loss with the IsoMax loss requires no changes in the model's architecture or training procedures/hyperparameters. In this paper, we propose to perform what we call an isometrization of the distances used in the IsoMax loss. Additionally, we propose to replace the entropic score with the minimum distance score. Our experiments showed that these simple modifications increase out-of-distribution detection performance while keeping the solution seamless. Code available at $\href{this https URL}{ ext{entropic out-of-distribution detection}}$.

研究动机与目标

• 解决现有分布外检测方法需要收集异常样本数据并进行超参数调优的局限性。
• 提升已具备无缝特性的基于熵的分布外检测方法的性能，进一步实现优化。
• 通过避免对模型架构或训练过程的修改，保持原始方法的无缝特性。
• 探究等距距离正则化与最小距离得分是否能增强检测的鲁棒性与准确性。

提出的方法

• 在IsoMax损失中对距离进行等距化处理，以在训练过程中保持类间相对距离的稳定性。
• 将基于熵的得分替换为最小距离得分，用于分布外检测。
• 将IsoMax损失直接用作SoftMax的替代方案，无需修改模型架构或训练超参数。
• 应用最小距离得分来度量样本到特征空间中任意已知类别中心的最小距离。
• 通过避免额外的数据收集或推理时的调整，保持原始方法的无缝特性。
• 将等距距离正则化与最小距离评分整合到现有的基于熵的分布外检测框架中。

实验结果

研究问题

• RQ1 在IsoMax损失中引入等距距离正则化是否能提升分布外检测的性能？
• RQ2 将熵得分替换为最小距离得分是否能在不损害方法无缝特性的前提下实现更优的分布外检测效果？
• RQ3 与原始基于熵的方法相比，这些修改对检测准确率和推理效率有何影响？
• RQ4 在保持与标准训练流程兼容的前提下，性能最多可提升多少？

主要发现

• 所提出的在IsoMax损失中对距离进行等距化处理，优化了特征空间的几何结构，从而提升了分布外检测性能。
• 将熵得分替换为最小距离得分，显著增强了对分布内与分布外样本的判别能力。
• 该方法与现有训练流程完全兼容，无需修改模型架构或超参数。
• 等距距离与最小距离得分的结合，相比原始基于熵的方法，实现了更优的分布外检测性能。
• 改进效果未引入副作用，如准确率下降或推理效率降低。
• 该方案保持了无缝特性，完整保留了原始基于熵的分布外检测方法的核心优势。