[論文レビュー] On the Importance of Gradients for Detecting Distributional Shifts in the Wild

Rui Huang, Andrew Geng+1 more|arXiv (Cornell University)|Oct 1, 2021

Anomaly Detection Techniques and Applications被引用数 88

ひとこと要約

GradNorm は、ソフトマックス出力と一様分布との間の KL 分解から後向き伝播される勾配ノルムを利用して外れ値検出を行い、従来の出力ベース・特徴ベースの方法と比較して ImageNet ベンチマークにおけるOOD検出性能を向上させる。

ABSTRACT

Detecting out-of-distribution (OOD) data has become a critical component in ensuring the safe deployment of machine learning models in the real world. Existing OOD detection approaches primarily rely on the output or feature space for deriving OOD scores, while largely overlooking information from the gradient space. In this paper, we present GradNorm, a simple and effective approach for detecting OOD inputs by utilizing information extracted from the gradient space. GradNorm directly employs the vector norm of gradients, backpropagated from the KL divergence between the softmax output and a uniform probability distribution. Our key idea is that the magnitude of gradients is higher for in-distribution (ID) data than that for OOD data, making it informative for OOD detection. GradNorm demonstrates superior performance, reducing the average FPR95 by up to 16.33% compared to the previous best method.

研究の動機と目的

• 実世界でのデプロイメントに向けたイン-ディストリビューション（ID）精度を超えた堅牢なOOD検出を動機づける。
• 勾配空間に ID と OOD データを区別する有用な信号が含まれるかを探る。
• 訓練を必要とせず、勾配の大きさをOODスコアとして用いる簡易な方法（GradNorm）を提案する。
• 勾配空間情報が特徴空間と出力信号を組み合わせて分離性を向上させる方法を分析する。

提案手法

• ソフトマックス出力と一様分布との間の KL 分解の勾配をネットワークパラメータに関して計算する。
• これらの勾配を逆伝播して勾配ベクトルを得し、そのベクトルノルムをOODスコアとして用いる。
• 効率と性能の良いトレードオフのために最後の全結合層の重みを勾配源として用いる。
• バックプロパゲーションには Ground-truth ラベルを必要とせず、ラベル非依存・OOD非依存の設定で運用する。
• GradNorm の性能において、異なる Lp ノルム（特に L1 を好む）と温度 T の影響を調べる。

実験結果

リサーチクエスチョン

• RQ1 勾配空間は活性化空間や出力空間を超えて、ID vs OOD データを識別する識別信号を提供するか。
• RQ2 最良のOOD検出性能と計算効率をもたらす勾配の源（どのネットワーク層／パラメータ）とは何か。
• RQ3 勾配ベースのスコアを使用する際、どの損失形式とベクトルノルムがIDとOODの分離性を最大化するか。
• RQ4 アーキテクチャの選択と温度スケーリングが勾配ベースのOOD検出の有効性にどう影響するか。

主な発見

• GradNorm は ImageNet ベンチマークにおいて従来の最良手法と比較して平均 FPR95 を最大で 16.33% 減少させる。
• 最後の FC 層から得られる勾配ノルムは性能と計算のトレードオフの面で最良の選択肢を提供する。
• KL 分解のターゲットを一様にする（one-hot ターゲットではなく）ことで、ID vs OOD の分離が強化され、GradNorm は one-hot 変種を大幅に上回る。
• 勾配の L1 ノルムは他のノルム（高次ノルムおよび無限大ノルムを含む）より一貫して優れている。
• GradNorm は特徴空間と出力空間の両方からの情報を結合して捉え、特徴情報や出力情報のみを用いるよりも分離性が強い。