[論文レビュー] On the Importance of Gradients for Detecting Distributional Shifts in the Wild

Rui Huang, Andrew Geng+1 more|arXiv (Cornell University)|Oct 1, 2021

Anomaly Detection Techniques and Applications参考文献 44被引用数 38

ひとこと要約

GradNorm はソフトマックス予測と一様ターゲットとのKL発散の勾配ノルムをOODスコアとして用い、勾配空間情報を活用することでImageNetベンチマークで最先端の検出を達成する。

ABSTRACT

Detecting out-of-distribution (OOD) data has become a critical component in ensuring the safe deployment of machine learning models in the real world. Existing OOD detection approaches primarily rely on the output or feature space for deriving OOD scores, while largely overlooking information from the gradient space. In this paper, we present GradNorm, a simple and effective approach for detecting OOD inputs by utilizing information extracted from the gradient space. GradNorm directly employs the vector norm of gradients, backpropagated from the KL divergence between the softmax output and a uniform probability distribution. Our key idea is that the magnitude of gradients is higher for in-distribution (ID) data than that for OOD data, making it informative for OOD detection. GradNorm demonstrates superior performance, reducing the average FPR95 by up to 16.33% compared to the previous best method.

研究の動機と目的

• 実世界の展開でOOD検出を動機づけ、研究する。
• 勾配空間がIDとOOD分離の有意な信号を含んでいるかを調べる。
• GradNormをシンプルでラベル-およびOOD-無関係の勾配ベーススコアリング手法として提案する。
• 特徴空間と出力空間の勾配情報を組み合わせて分離性が向上することを理論的・経験的に示す。

提案手法

• ソフトマックス出力と一様分布とのKL発散をバックプロップして、ネットワークパラメータに対する勾配を得る。
• GradNormを選択したパラメータ（通常は最後の全結合層）に関する勾配のLpノルム（典型的にはL1）として定義する。
• 勾配ノルムをIDとOODデータを区別するOODスコアS(x)として用いる。
• ImageNet-1kおよび追加ベンチマークでGradNormをMSP、ODIN、Energy、Mahalanobisと経験的に比較する。
• 勾配の深さ、ノルムタイプ（L1が最も効果的）、温度T、モデル容量のアブレーションを行う。
• GradNormが特徴空間と出力空間の情報を共同で捉える理論的分解を提示する。

実験結果

リサーチクエスチョン

• RQ1 勾配（出力や特徴だけでなく）を用いてIDとOODデータを識別する判別情報を得られるか？
• RQ2 GradNorm（KL発散を一様ターゲットに対する勾配ノルム）は、ラベルや外れ値データを必要とせずに実用的でパラメータ効率の良いOODスコアか？
• RQ3 どの勾配ソース（深さ、最後の層 vs 全層）とどのノルムがOOD検出性能を最適化する？
• RQ4 GradNormは大規模ベンチマークで現状最先端の出力・特徴ベース手法とどう比較されるか？
• RQ5 GradNormの特徴空間と出力空間情報の観点での理論的解釈は何か？

主な発見

手法	iNaturalist FPR95	iNaturalist AUROC	SUN FPR95	SUN AUROC	Places FPR95	Places AUROC	Textures FPR95	Textures AUROC	Average FPR95	Average AUROC
MSP	63.69	87.59	79.98	78.34	81.44	76.76	82.73	74.45	81.44	76.96
ODIN	62.69	89.36	71.67	83.92	76.27	80.67	81.31	76.30	72.99	82.56
Energy	64.91	88.48	65.33	85.32	73.02	81.37	80.87	75.79	71.03	82.74
Mahalanobis	96.34	46.33	88.43	65.20	89.75	64.46	52.23	72.10	81.69	62.02
GradNorm (ours)	50.03	90.33	46.48	89.03	60.86	84.82	61.42	81.07	54.70	86.31

• GradNormはImageNet-1kベンチマークの4つのOODデータセットで主要なベースライン（MSP、ODIN、Energy、Mahalanobis）を上回り、FPR95を最大16.33%ポイント削減。
• 最後のFC層からの勾配を用いるとGradNormで最高のOOD検出性能が得られる。
• L1ノルムがテストしたノルムの中で最も強力で、より高次のノルムは性能が低下。
• KL発散の一様ターゲットを用いる GradNorm は one-hotターゲットよりも分離性が高い。
• GradNormは追加のトレーニングなしで適用可能で、アーキテクチャに依存せず効果的（ResNetv2-101 and DenseNet-121）。
• 本手法は特徴空間と出力空間の共同情報を効果的に捉え、どちらか一方の空間だけを用いる場合より分離性が向上。