[论文解读] Can multi-label classification networks know what they don't know?

Haoran Wang, Weitang Liu+2 more|arXiv (Cornell University)|Sep 29, 2021

Anomaly Detection Techniques and Applications参考文献 50被引用 35

一句话总结

JointEnergy 汇聚所有标签的逐标签能量以在多标签分类中检测分布外(out-of-distribution, OOD)，实现最先进的 OOD 检测以及联合似然解释。

ABSTRACT

Estimating out-of-distribution (OOD) uncertainty is a central challenge for safely deploying machine learning models in the open-world environment. Improved methods for OOD detection in multi-class classification have emerged, while OOD detection methods for multi-label classification remain underexplored and use rudimentary techniques. We propose JointEnergy, a simple and effective method, which estimates the OOD indicator scores by aggregating energy scores from multiple labels. We show that JointEnergy can be mathematically interpreted from a joint likelihood perspective. Our results show consistent improvement over previous methods that are based on the maximum-valued scores, which fail to capture joint information from multiple labels. We demonstrate the effectiveness of our method on three common multi-label classification benchmarks, including MS-COCO, PASCAL-VOC, and NUS-WIDE. We show that JointEnergy can reduce the FPR95 by up to 10.05% compared to the previous best baseline, establishing state-of-the-art performance.

研究动机与目标

• 在多标签分类中激发对 OOD 不确定性的估计，其中可同时存在多个标签。
• 开发一种可扩展的方法，在不训练生成模型的情况下利用跨标签的联合信息。
• 从联合似然视角为 JointEnergy 提供理论解释。
• 在标准多标签基准上经验性地证明最先进的 OOD 检测。

提出的方法

• 将每个标签的逐标签自由能定义为 E_yi(x) = -log(1 + exp(f_yi(x))).
• Propose JointEnergy as the sum of negated label-wise energies across all K labels: E_joint(x) = sum_i (-E_yi(x)).
• 从联合似然角度在理论上解释 JointEnergy，将其与 p(x | y1=1,...,yK=1) 与数据密度联系起来。
• 表明 JointEnergy 强调跨标签的联合信息，使得在分布内数据与 OOD 数据的分离优于 MaxLogit。
• 展示无需超参数的使用以及与不同逐标签评分函数和聚合方案的兼容性。

实验结果

研究问题

• RQ1 在多标签分类设置中，如何有效估计 OOD 不确定性？
• RQ2 将能量分数在所有标签上聚合是否优于使用单一主导标签（例如 MaxLogit）进行 OOD 检测？
• RQ3 哪些理论解释支持 JointEnergy 作为多标签情景下的 OOD 得分？
• RQ4 在检测 OOD 数据时，JointEnergy 在常见的多标签基准和架构上的表现如何？

主要发现

• JointEnergy 在 MS-COCO、PASCAL-VOC 和 NUS-WIDE 基准上实现了最先进的 OOD 检测，相较于之前的最佳基线将 FPR95 降低最多 10.05%。
• 在 MS-COCO 上，JointEnergy 的 FPR95 33.48，AUROC 92.70，AUPR 96.25，优于竞争方法。
• 在 PASCAL-VOC 上，JointEnergy 的 FPR95 41.01，AUROC 91.10，AUPR 86.33。
• 在 NUS-WIDE 上，JointEnergy 的 FPR95 48.98，AUROC 88.30，AUPR 96.40。
• 消融分析表明，对标签能量求和（JointEnergy）优于对其他逐标签分数求和（如 logits、MSP、ODIN、Mahalanobis）以及 MaxEnergy，突出跨标签联合信息的重要性。
• JointEnergy 提供了一个可数学解释的联合似然视角，将更高的分数与所有标签同时存在的联合似然更高相关。