[論文レビュー] Can multi-label classification networks know what they don't know?

Haoran Wang, Weitang Liu+2 more|arXiv (Cornell University)|Sep 29, 2021

Anomaly Detection Techniques and Applications参考文献 50被引用数 35

ひとこと要約

JointEnergy は、マルチラベル分類における全ラベルのラベル別エネルギーを集約してOOD検出を行い、最先端のOOD検出性能とジョイント尤度の解釈を提供する。

ABSTRACT

Estimating out-of-distribution (OOD) uncertainty is a central challenge for safely deploying machine learning models in the open-world environment. Improved methods for OOD detection in multi-class classification have emerged, while OOD detection methods for multi-label classification remain underexplored and use rudimentary techniques. We propose JointEnergy, a simple and effective method, which estimates the OOD indicator scores by aggregating energy scores from multiple labels. We show that JointEnergy can be mathematically interpreted from a joint likelihood perspective. Our results show consistent improvement over previous methods that are based on the maximum-valued scores, which fail to capture joint information from multiple labels. We demonstrate the effectiveness of our method on three common multi-label classification benchmarks, including MS-COCO, PASCAL-VOC, and NUS-WIDE. We show that JointEnergy can reduce the FPR95 by up to 10.05% compared to the previous best baseline, establishing state-of-the-art performance.

研究の動機と目的

• 複数のラベルが同時に存在する可能性があるマルチラベル分類におけるOOD不確実性推定を動機づける。
• 生成モデルを訓練することなく、ラベル間のジョイン情報を活用するスケーラブルな手法を開発する。
• ジョイント尤度の観点からJointEnergyを理論的に解釈する。
• 標準的なマルチラベルベンチマークで最先端のOOD検出を実証する。

提案手法

• 各ラベルについてのラベル別自由エネルギーを E_yi(x) = -log(1 + exp(f_yi(x))) と定義する。
• K個のラベル全体で符号付きエネルギーの和として JointEnergy を提案する: E_joint(x) = sum_i (-E_yi(x)).
• JointEnergyをジョイント尤度の観点から理論的に解釈し、それを p(x | y1=1,...,yK=1) およびデータ密度への関連づけを行う。
• JointEnergyがラベル間のジョイント情報を強調し、MaxLogitより分布内データとOODデータの分離を改善することを示す。
• ハイパーパラメータなしの使用と、異なるラベル別スコアリング関数および集約スキームとの適合性を示す。

実験結果

リサーチクエスチョン

• RQ1 マルチラベル分類設定においてOOD不確実性をどのように効果的に推定できるか？
• RQ2 全ラベルのエネルギーを集約して、単一の支配的ラベル（例：MaxLogit）を用いた場合よりOOD検出性能が向上するか？
• RQ3 マルチラベルのシナリオにおいてJointEnergyをOODスコアとして支える理論的解釈は何か？
• RQ4 標準的なマルチラベルベンチマークとアーキテクチャでOODデータを検出する際のJointEnergyの性能はどうか？

主な発見

• JointEnergyはMS-COCO、PASCAL-VOC、NUS-WIDEのベンチマークで最先端のOOD検出を達成し、以前のベストベースラインと比較してFPR95を最大で10.05%ポイント低減した。
• MS-COCOで、JointEnergyはFPR95 33.48、AUROC 92.70、AUPR 96.25を達成し、競合法を上回った。
• PASCAL-VOCで、JointEnergyはFPR95 41.01、AUROC 91.10、AUPR 86.33。
• NUS-WIDEで、JointEnergyはFPR95 48.98、AUROC 88.30、AUPR 96.40。
• アブレーションでは、ラベルエネルギーの和（JointEnergy）が、他のラベル別スコアの和（例：ロジット、MSP、ODIN、Mahalanobis）およびMaxEnergyを上回り、ラベル間のジョイント情報の重要性を強調している。
• JointEnergyは、より高いスコアがすべてのラベルが同時に存在するジョイント尤度が高いことを意味する、数学的に解釈可能なジョイント尤度の観点を提供する。