[논문 리뷰] Can multi-label classification networks know what they don't know?

Haoran Wang, Weitang Liu외 2명|arXiv (Cornell University)|2021. 09. 29.

Anomaly Detection Techniques and Applications참고 문헌 50인용 수 35

한 줄 요약

JointEnergy는 다중 라벨 분류에서 모든 라벨에 걸친 라벨별 에너지를 합산하여 OOD를 탐지하며, 최첨단 OOD 탐지와 공동 가능도 해석을 달성한다.

ABSTRACT

Estimating out-of-distribution (OOD) uncertainty is a central challenge for safely deploying machine learning models in the open-world environment. Improved methods for OOD detection in multi-class classification have emerged, while OOD detection methods for multi-label classification remain underexplored and use rudimentary techniques. We propose JointEnergy, a simple and effective method, which estimates the OOD indicator scores by aggregating energy scores from multiple labels. We show that JointEnergy can be mathematically interpreted from a joint likelihood perspective. Our results show consistent improvement over previous methods that are based on the maximum-valued scores, which fail to capture joint information from multiple labels. We demonstrate the effectiveness of our method on three common multi-label classification benchmarks, including MS-COCO, PASCAL-VOC, and NUS-WIDE. We show that JointEnergy can reduce the FPR95 by up to 10.05% compared to the previous best baseline, establishing state-of-the-art performance.

연구 동기 및 목표

• 다중 라벨 분류에서 OOD 불확실성 추정을 고무한다.
• 생성 모델을 학습시키지 않고 라벨 간의 결합 정보를 활용하는 확장 가능한 방법을 개발한다.
• JointEnergy를 공동 가능도 관점에서 이론적으로 해석한다.
• 표준 다중 라벨 벤치마크에서 실험적으로 최첨단 OOD 탐지를 입증한다.

제안 방법

• 각 라벨에 대해 label-wise 자유 에너지를 E_yi(x) = -log(1 + exp(f_yi(x))).으로 정의한다.
• JointEnergy를 모든 K 라벨에 걸친 부정화된 label-wise 에너지의 합으로 제안한다: E_joint(x) = sum_i (-E_yi(x)).
• 공동 가능도 관점에서 이론적으로 JointEnergy를 해석하고, p(x | y1=1,...,yK=1) 및 데이터 밀도와 연결한다.
• JointEnergy가 라벨 간의 공동 정보를 강조하여 MaxLogit보다 분포 내 데이터와 OOD 데이터를 더 잘 구분하게 함을 보여준다.
• 하이퍼파라미터 없이 사용 가능함과 다양한 label-wise 점수 함수 및 집계 방식과의 호환성을 입증한다.

실험 결과

연구 질문

• RQ1 다중 라벨 분류 설정에서 OOD 불확실성을 효과적으로 추정하려면 어떻게 해야 하는가?
• RQ2 모든 라벨에 걸친 에너지 점수를 합산하는 것이 단일 우세 라벨(예: MaxLogit)을 사용하는 것보다 OOD 탐지에서 더 우수한가?
• RQ3 다중 라벨 시나리오에서 JointEnergy를 OOD 점수로 지지하는 이론적 해석은 무엇인가?
• RQ4 일반적인 다중 라벨 벤치마크 및 아키텍처에서 OOD 데이터를 탐지할 때 JointEnergy의 성능은 어떤가?

주요 결과

• JointEnergy는 MS-COCO, PASCAL-VOC, NUS-WIDE 벤치마크에서 최첨단 OOD 탐지를 달성하고, 이전 최상 baselines 대비 FPR95를 최대 10.05%p 감소시킨다.
• MS-COCO에서 JointEnergy는 FPR95 33.48, AUROC 92.70, 및 AUPR 96.25를 산출하여 경쟁 방법을 능가한다.
• PASCAL-VOC에서 JointEnergy는 FPR95 41.01, AUROC 91.10, 및 AUPR 86.33를 산출한다.
• NUS-WIDE에서 JointEnergy는 FPR95 48.98, AUROC 88.30, 및 AUPR 96.40를 산출한다.
• 아블레이션은 라벨 에너지를 합산하는 것(JointEnergy)이 다른 라벨별 점수들(예: logits, MSP, ODIN, Mahalanobis) 및 MaxEnergy를 합산하는 것보다 우수함을 보여주고, 라벨 간의 공동 정보의 중요성을 강조한다.
• JointEnergy는 수학적으로 해석 가능한 공동 가능도 관점을 제공하며, 더 높은 점수가 모든 라벨이 함께 존재할 가능도가 더 높음을 나타낸다.