[论文解读] Isotropy Maximization Loss and Entropic Score: Accurate, Fast, Efficient, Scalable, and Turnkey Neural Networks Out-of-Distribution Detection Based on The Principle of Maximum Entropy

David Macêdo, Tsang Ing Ren+3 more|arXiv (Cornell University)|Aug 15, 2019

Adversarial Robustness in Machine Learning参考文献 8被引用 2

一句话总结

本文提出 IsoMax，一种新颖的各向同性损失函数，用于替代标准交叉熵 SoftMax 损失，以通过促进高熵、低置信度预测来提升分布外（OOD）检测性能，这与最大熵原理相一致。该方法在无需对抗训练、数据增强、集成模型或架构修改的情况下，实现了准确、快速且可扩展的 OOD 检测，仅需极少的实现开销，达到了最先进性能。

ABSTRACT

Current out-of-distribution (OOD) detection approaches require cumbersome procedures that add undesired side effects to the solution. In this paper, we argue that the low OOD detection performance of neural networks is due to cross-entropy SoftMax loss anisotropy and extreme propensity to produce low entropy (high confidence) posterior probability distributions in frontal disagreement with the Principle of Maximum Entropy. Consequently, we propose IsoMax, a loss that is isotropic (distance-based) and produces high entropy (low confidence) posterior probability distributions despite still relying on cross-entropy minimization. Additionally, we propose a speedy Entropic Score for OOD detection. IsoMax loss works as a seamless SoftMax loss drop-in replacement that keeps the overall solution accurate, fast, efficient, scalable, and turnkey. Our experiments indeed confirmed that neural networks OOD detection performance may be extremely improved without relying on techniques such as adversarial training or validation, data augmentation, ensembles methods, generative approaches, model architectural changes, metric learning, or additional classifiers or regressions. The results also showed that our straightforward approach is competitive against state-of-the-art solutions besides avoiding previous methods undesired drawbacks.

研究动机与目标

• 解决使用交叉熵 SoftMax 损失训练的标准神经网络在 OOD 检测中表现不佳的问题。
• 识别出损失的各向异性以及后验分布的低熵特性与最大熵原理相矛盾。
• 开发一种可直接替换的损失函数，以强制实现各向同性与高熵，同时保持模型准确率。
• 提出一种快速、高效且可扩展的 OOD 检测方法，避免使用复杂的辅助组件或训练流程。

提出的方法

• 提出 IsoMax，一种基于距离的损失函数，用于在 logits 空间中强制实现各向同性，替代标准 SoftMax 交叉熵损失。
• 设计损失函数以最大化输出概率分布的熵，即使在分布内样本上也能产生低置信度预测。
• 提出熵分值（Entropic Score）作为基于输出熵的快速、轻量级 OOD 检测指标。
• 通过作为 SoftMax 损失的直接替代品，确保方法与标准训练流程完全兼容。
• 仅依赖交叉熵最小化，但通过修改优化目标以偏好各向同性与高熵。
• 避免使用生成模型、度量学习或集成方法等额外组件。

实验结果

研究问题

• RQ1 在不改变架构或训练流程的前提下，损失函数的各向同性能否提升 OOD 检测性能？
• RQ2 在保持分布内准确率的同时，强制后验预测具有高熵是否能带来更好的 OOD 检测效果？
• RQ3 一种简单、可直接替换的损失函数能否超越复杂的最先进 OOD 检测方法？
• RQ4 所提出的熵分值与现有 OOD 检测指标相比，在速度和准确率方面表现如何？
• RQ5 在多大程度上可以利用最大熵原理来改进神经网络的不确定性估计？

主要发现

• IsoMax 通过在输出分布中强制实现各向同性与高熵，显著提升了 OOD 检测性能。
• 该方法在无需对抗训练、数据增强或集成方法的情况下，实现了最先进 OOD 检测结果。
• 熵分值提供了快速且准确的 OOD 检测，计算开销极小。
• 该方法在保持高分布内准确率的同时，显著降低了对分布外样本的过度自信。
• 该方法与标准训练流程完全兼容，无需架构修改或额外组件。
• 实验结果证实，所提方法优于现有最先进方法，同时避免了其常见缺陷。