[論文レビュー] Mitigating Neural Network Overconfidence with Logit Normalization

Hongxin Wei, Renchunzi Xie+4 more|arXiv (Cornell University)|May 19, 2022

Adversarial Robustness in Machine Learning被引用数 74

ひとこと要約

LogitNorm は訓練中にロジットを一定のノルムに正規化して過信を抑制し、ID 精度を保ちながら OOD 検出を大幅に向上させる。

ABSTRACT

Detecting out-of-distribution inputs is critical for safe deployment of machine learning models in the real world. However, neural networks are known to suffer from the overconfidence issue, where they produce abnormally high confidence for both in- and out-of-distribution inputs. In this work, we show that this issue can be mitigated through Logit Normalization (LogitNorm) -- a simple fix to the cross-entropy loss -- by enforcing a constant vector norm on the logits in training. Our method is motivated by the analysis that the norm of the logit keeps increasing during training, leading to overconfident output. Our key idea behind LogitNorm is thus to decouple the influence of output's norm during network optimization. Trained with LogitNorm, neural networks produce highly distinguishable confidence scores between in- and out-of-distribution data. Extensive experiments demonstrate the superiority of LogitNorm, reducing the average FPR95 by up to 42.30% on common benchmarks.

研究の動機と目的

• ニューラルネットワークの OOD 検出における過信問題を動機付け分析する。
• ロジットの大きさを最適化から切り離す Logit Normalization を提案する。
• さまざまなアーキテクチャとデータセットで LogitNorm が OOD 検出とキャリブレーションを改善することを示す。

提案手法

• 訓練中にロジットベクトルを単位長に正規化し、正規化されたロジットに対してクロスエントロピーを適用する。
• softmax で f/ (τ||f||) を用いる等価な損失 L_logit_norm を導入し、入力依存の温度を作り出す。
• LogitNorm 損失の理論的下限を提供し、τ および最適化への影響を論じる。
• 実務上の利点を示すために、ロジットペナルティとコサインベースの正規化と比較する。
• MSP、ODIN、Energy、GradNorm のスコアリング関数を用いて標準的な OOD ベンチマークで評価する。
• LogitNorm が ID 精度を維持しつつ OOD 指標を改善することを示す。

実験結果

リサーチクエスチョン

• RQ1 訓練中にロジットを正規化することで、ID および OOD データに対するニューラルネットワークの過信を緩和できるか。
• RQ2 LogitNorm はアーキテクチャを跨いで ID の精度を保ちつつ OOD 検出を改善するか。
• RQ3 LogitNorm は事後 OOD スコアリング手法やキャリブレーション技術とどう相互作用するか。

主な発見

ID データセット	OOD データセット	Loss (CE / LogitNorm)	FPR95 CE	FPR95 LogitNorm	AUROC CE	AUROC LogitNorm	AUPR CE	AUPR LogitNorm
CIFAR-10	Texture	Cross-entropy / LogitNorm	64.13	28.64	86.29	94.28	96.28	98.63
CIFAR-10	SVHN	Cross-entropy / LogitNorm	50.33	8.03	93.48	98.47	98.70	99.68
CIFAR-10	LSUN-C	Cross-entropy / LogitNorm	33.34	2.37	95.29	99.42	99.04	99.88
CIFAR-10	LSUN-R	Cross-entropy / LogitNorm	42.52	10.93	93.74	97.87	98.66	99.59
CIFAR-10	iSUN	Cross-entropy / LogitNorm	46.56	12.28	93.13	97.73	98.55	99.56
CIFAR-10	Places365	Cross-entropy / LogitNorm	60.23	31.64	87.36	93.66	96.62	98.49
CIFAR-100	Texture	Cross-entropy / LogitNorm	84.11	70.67	74.05	78.65	93.45	93.66
CIFAR-100	SVHN	Cross-entropy / LogitNorm	79.09	45.98	78.62	92.48	94.99	98.45
CIFAR-100	LSUN-C	Cross-entropy / LogitNorm	67.94	13.93	83.60	97.56	96.32	99.48
CIFAR-100	LSUN-R	Cross-entropy / LogitNorm	82.21	68.68	69.45	84.77	91.45	96.52
CIFAR-100	iSUN	Cross-entropy / LogitNorm	84.50	71.47	69.29	83.79	91.44	96.24
CIFAR-100	Places365	Cross-entropy / LogitNorm	81.09	31.64	75.61	77.14	93.74	94.16

• LogitNorm は Benchmark 全体で OOD 検出の FPR95 を低減し AUROC/AUPR を改善する。
• CIFAR-10 と SVHN を OOD とした場合、FPR95 は CE の 50.33% から LogitNorm の 8.03% に低下。
• 六つの OOD データセットを平均した場合、LogitNorm は softmax + クロスエントロピーと比較して FPR95 を 33.87% 減少。
• LogitNorm は ODIN、Energy、GradNorm などのポストホック OOD スコアの性能を向上させる。
• ID 精度はクロスエントロピー損失とほぼ同等である（例：CIFAR-10 ResNet-34: 95.14% vs 95.01%）。
• LogitNorm はポストホック温度スケーリングによるキャリブレーションの可能性を改善する。