[論文レビュー] Are all outliers alike? On Understanding the Diversity of Outliers for Detecting OODs

Ramneet Kaur, Susmit Jha+3 more|arXiv (Cornell University)|Mar 23, 2021

Anomaly Detection Techniques and Applications参考文献 36被引用数 10

ひとこと要約

本稿は、外れ値の原因と不確実性の性質に基づく、分布外（OOD）サンプルの分類法を提案する。具体的には、あり得る不確実性（aleatoric）と知識の不確実性（epistemic）の区別、予測クラスからの距離とトレーニング分布への類似度、主成分と非主成分における不確実性の区別を含む。本稿では、複数の特徴量を統合したOOD検出手法を導入し、CIFAR10、SVHN、MNISTベンチマークで最先端の性能を達成。CIFAR100では99.89%のAUROCを記録し、SVHNでは99.41%を達成した。

ABSTRACT

Deep neural networks (DNNs) are known to produce incorrect predictions with very high confidence on out-of-distribution (OOD) inputs. This limitation is one of the key challenges in the adoption of deep learning models in high-assurance systems such as autonomous driving, air traffic management, and medical diagnosis. This challenge has received significant attention recently, and several techniques have been developed to detect inputs where the model's prediction cannot be trusted. These techniques use different statistical, geometric, or topological signatures. This paper presents a taxonomy of OOD outlier inputs based on their source and nature of uncertainty. We demonstrate how different existing detection approaches fail to detect certain types of outliers. We utilize these insights to develop a novel integrated detection approach that uses multiple attributes corresponding to different types of outliers. Our results include experiments on CIFAR10, SVHN and MNIST as in-distribution data and Imagenet, LSUN, SVHN (for CIFAR10), CIFAR10 (for SVHN), KMNIST, and F-MNIST as OOD data across different DNN architectures such as ResNet34, WideResNet, DenseNet, and LeNet5.

研究の動機と目的

• 既存のOOD検出手法がすべての外れ値を同様に扱うという限界を是正すること。
• 異なる不確実性タイプに基づくOODサンプルの特定と分類：あり得る不確実性 vs 知識の不確実性、予測クラスからの距離 vs トレーニング分布への類似度、主成分における不確実性 vs 非主成分における不確実性。
• 現在の均一な検出アプローチが、特定の外れ値タイプに対しては失敗することを示し、標準ベンチマークでの優れた経験的性能にもかかわらず。
• 複数の検出シグネチャを統合することで、多様な外れ値タイプに耐性を持つOOD検出フレームワークの開発と検証。
• ImageNet、LSUN、F-MNISTを含む複数のデータセットにおいて、ResNet34、WideResNet、DenseNet、LeNet5を用いたアブレーションスタディを通じた実証的証明の提供。

提案手法

• 3つの次元に基づくOOD入力の分類法を提案：あり得る不確実性 vs 知識の不確実性、予測クラスからの距離 vs トレーニング分布への類似度、低分散の主成分と非主成分における不確実性。
• 複数の検出シグネチャを採用：マハラノビス距離（Mahala）、k-近傍法（KNN）、SPB（スコアベース予測）、ODIN、PCA、信頼スコア。
• 重み付きアンサンブル戦略を用いて、これらのシグネチャの信頼度スコアを統合し、単一の検出フレームワークに統合。
• 予測クラス分布およびトレーニング分布からの距離に基づき、トップダウン推論アプローチでOODを検出。
• ODIN手法では温度スケーリングと入力の摂動を適用し、特徴量レベルの再構成と密度推定を追加の信号として活用。
• CIFAR10、SVHN、MNIST、KMNIST、F-MNIST、ImageNet、LSUNを含む、複数のDNNアーキテクチャとイン・ディストリビューション／アウト・ディストリビューションのデータセット組み合わせにおいて、統合手法の妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 すべてのOOD外れ値は、一様な検出手法によって検出可能なのか。それとも、外れ値の種類に応じて異なる検出戦略を要するのか。
• RQ2 不確実性タイプと空間的分布に基づく外れ値の種類ごとに、既存のOOD検出手法はどの程度の性能を示すのか。
• RQ3 複数のシグネチャを統合した検出フレームワークは、多様な外れ値タイプにわたってOOD検出性能を向上させられるか。
• RQ4 あり得る不確実性、知識の不確実性、主成分における不確実性、非主成分における不確実性の各タイプが、OOD検出の失敗に及ぼす相対的寄与度は何か。
• RQ5 提案手法の統合フレームワークは、ODIN やマハラノビス距離といった最先端のベースラインを、多様なOODベンチマークでどの程度上回るのか。

主な発見

• ResNet34を用いたCIFAR100では、統合OOD検出手法が99.89%の最高AUROCを記録。ODIN（68.01%）とPCA（97.81%）を大きく上回った。
• DenseNetを用いたSVHNでは、統合手法が99.11%のAUPR（IN/OUT）を達成。ODIN（84.32%）とPCA（86.62%）を上回った。
• ResNet34を用いたSVHNでは、CIFAR100で99.89%のAUROCを記録。ODIN（68.01%）とPCA（97.81%）を大きく上回った。
• ResNet34を用いたCIFAR100では、97.36%のDTACC（TPR=95%）を達成。ODIN（67.26%）とPCA（94.52%）を上回った。
• アブレーションスタディの結果、マハラノビス距離（トレーニングに紐づけられたものとクラス固有のもの）とKNNベースの手法を組み合わせた場合が、すべてのベンチマークで最高の性能を示した。
• ODINとPCAが、特に非主成分における低分散を示す外れ値タイプに対して顕著に失敗することを実証。これにより、マルチシグネチャアプローチの必要性が裏付けられた。