[論文レビュー] Block Selection Method for Using Feature Norm in Out-of-distribution Detection

Yeonguk Yu, Sungho Shin+3 more|arXiv (Cornell University)|Dec 5, 2022

Digital Media Forensic Detection被引用数 4

ひとこと要約

本稿では、特徴マップのノルム（FeatureNorm）と、分布内（ID）データと疑似OODデータ間のFeatureNormの比（NormRatio）を用いて、OOD検出に最適なネットワークブロックを選択する、新たな後処理型OOD検出手法を提案する。Jigsawパズル画像を疑似OODデータとして生成することで、最大のNormRatioを示すブロックを同定し、その結果、CIFAR-10ではFPR95を最大52.77%、ImageNetでは48.53%まで低減する、最先端の性能を達成した。

ABSTRACT

Detecting out-of-distribution (OOD) inputs during the inference stage is crucial for deploying neural networks in the real world. Previous methods commonly relied on the output of a network derived from the highly activated feature map. In this study, we first revealed that a norm of the feature map obtained from the other block than the last block can be a better indicator of OOD detection. Motivated by this, we propose a simple framework consisting of FeatureNorm: a norm of the feature map and NormRatio: a ratio of FeatureNorm for ID and OOD to measure the OOD detection performance of each block. In particular, to select the block that provides the largest difference between FeatureNorm of ID and FeatureNorm of OOD, we create Jigsaw puzzle images as pseudo OOD from ID training samples and calculate NormRatio, and the block with the largest value is selected. After the suitable block is selected, OOD detection with the FeatureNorm outperforms other OOD detection methods by reducing FPR95 by up to 52.77% on CIFAR10 benchmark and by up to 48.53% on ImageNet benchmark. We demonstrate that our framework can generalize to various architectures and the importance of block selection, which can improve previous OOD detection methods as well.

研究の動機と目的

• 実世界のニューラルネットワークデプロイメントにおいて、未学習の入力を誤分類すると危険な結果を招く可能性があるため、そのような入力のOOD検出の課題に対処すること。
• 中間ネットワークブロックからの特徴マップのノルムが、OOD検出のための信頼性の高い指標として機能するかどうかを検証し、最終層が最適であるという仮定に疑問を呈すること。
• 本番環境でのOOD検出に最適なブロックを、真のOODデータにアクセスできない状況下でも、再訓練やアーキテクチャ変更なしに選択可能な、後処理フレームワークを構築すること。
• ブロック固有の特徴ノルム統計と、新たなブロック選択戦略を活用することで、既存のOOD検出手法の性能を向上させること。

提案手法

• 特定のネットワークブロックからの特徴マップのL2ノルムをFeatureNormとして導入し、OODスコアの指標として用いる。
• IDデータのFeatureNormと疑似OODデータのFeatureNormの比をNormRatioとして定義し、ブロックのOOD検出適合度を評価する。
• ID学習画像を用いてJigsawパズル増幅を適用し、外部のOODデータが不要な状況でOOD入力を模擬する疑似OODデータを生成する。
• 全ブロックのうちNormRatioが最大となるブロックを、IDとOODの特徴ノルムを分離できる能力に基づき、OOD検出に最適なブロックとして選択する。
• 推論時において、選択されたブロックのFeatureNormを用い、ノルムが学習済みのしきい値未満の場合に入力をOODと分類する。
• 本フレームワークは後処理として適用され、モデルの再訓練やアーキテクチャ変更を一切不要とせず、事前学習済みモデルとの互換性を保証する。

Figure 1 : Histogram of norm of the feature map produced by convolutional blocks of ResNet18. In last block (a), the norm of ID (black) is hard to separate from OOD (blue, orange) compared to the one from the penultimate block (b).

実験結果

リサーチクエスチョン

• RQ1 中間ブロックからの特徴マップのノルムは、最終層よりもOOD検出信号としてより効果的である可能性があるか？
• RQ2 ニューラルネットワーク内に、特徴ノルムに基づいてIDとOOD入力をより明確に分離できる特定のブロックが存在するか？
• RQ3 IDサンプルから生成された疑似OODデータを用いて、真のOODデータにアクセスできない状況下でも、OOD検出に最適なブロックを信頼性高く同定できるか？
• RQ4 NormRatioを用いて最良のブロックを選択することで、最終層やデフォルトブロックを用いる場合と比較して、OOD検出性能に顕著な向上が得られるか？
• RQ5 本ブロック選択および特徴ノルムベースの検出フレームワークは、異なるアーキテクチャやベンチマークに一般化可能か？

主な発見

• ResNet18の直前ブロックは、IDとOOD入力の間でFeatureNormの差が顕著に大きいことから、最終ブロックよりも顕著にOOD分離性能に優れていることが示された。
• Jigsawで生成された疑似OODデータを用いたブロック選択戦略により、OOD検出に最適なブロックが的確に同定され、最先端の性能が達成された。
• CIFAR-10ベンチマークでは、最良のベースライン比でFPR95が最大52.77%まで低減され、OOD検出性能の顕著な向上が確認された。
• ImageNetベンチマークでは、最良のベースライン比でFPR95が最大48.53%まで低減され、大規模データセット上でも有効性が裏付けられた。
• 本フレームワークは複数のアーキテクチャに一般化可能であり、既存のOOD検出手法に後処理として適用することで性能向上が得られた。
• アブレーションと理論的分析により、適切に選択されたブロックからの特徴ノルムは、出力確率やエネルギーベーススコアよりも信頼性の高いOOD指標であることが確認された。

Figure 2 : Illustration of our proposed out-of-distribution detection framework. FeatureNorm refers to a norm calculation for the given feature map produced by the block. We use NormRatio of ID and pseudo OOD (i.e., Jigsaw puzzle images) to find which block is suitable for OOD detection (a). During