[論文レビュー] Detecting OODs as datapoints with High Uncertainty

Ramneet Kaur, Susmit Jha+4 more|arXiv (Cornell University)|Aug 13, 2021

Anomaly Detection Techniques and Applications参考文献 36被引用数 8

ひとこと要約

本稿では、深層ニューラルネットワークにおける分布外（OOD）入力を検出するための、エピステミック不確実性とアレアトリック不確実性の両方の指標を組み合わせた、新しいアンサンブルベースのアプローチを提案する。OOD検出手法を、分布内データからのサポートの欠如（エピステミック不確実性の高さ）に依存するものか、予測エントロピーの高さ（アレアトリック不確実性の高さ）に依存するものかに基づいて分類することで、著者らは、アンサンブルによる両方の不確実性タイプの組み合わせが、複数のビジョンベンチマークで最先端の性能を達成することを示した。その結果、AUROCおよびAUPRスコアが優れた結果を達成した。

ABSTRACT

Deep neural networks (DNNs) are known to produce incorrect predictions with very high confidence on out-of-distribution inputs (OODs). This limitation is one of the key challenges in the adoption of DNNs in high-assurance systems such as autonomous driving, air traffic management, and medical diagnosis. This challenge has received significant attention recently, and several techniques have been developed to detect inputs where the model's prediction cannot be trusted. These techniques detect OODs as datapoints with either high epistemic uncertainty or high aleatoric uncertainty. We demonstrate the difference in the detection ability of these techniques and propose an ensemble approach for detection of OODs as datapoints with high uncertainty (epistemic or aleatoric). We perform experiments on vision datasets with multiple DNN architectures, achieving state-of-the-art results in most cases.

研究の動機と目的

• 既存のOOD検出手法を、エピステミック不確実性に依存するか、アレアトリック不確実性に依存するかに基づいて分類すること。
• 単一の不確実性タイプに依存する既存のOOD検出手法の限界を調査すること。
• 両方の不確実性指標を統合した、統一された検出フレームワークを提案すること。
• 標準的なビジョンデータセット上で提案手法の実験的評価を行い、最先端のベースラインと比較すること。

提案手法

• 既存のOOD検出手法を2つのカテゴリに分類する：高エピステミック不確実性（例：マハラノビス距離、KNN、ODIN）に基づくもの、および高アレアトリック不確実性（例：エントロピーに基づく手法、PCA、温度スケーリング付きマハラノビス距離）に基づくもの。
• 複数の不確実性指標（エピステミックおよびアレアトリック両方）を統合した、新しいアンサンブル検出器を提案する。
• 各検出器がその背後にあるメカニズム（例：エピステミックにはマハラノビス距離、アレアトリックにはソフトマックスエントロピー）に従って不確実性スコアを出力する重み付きアンサンブルを用いる。
• さまざまなDNNアーキテクチャ（ResNet34、DenseNet）を用いて、複数のビジョンデータセット（SVHN、CIFAR-10、CIFAR-100、ImageNet、LSUN）でアンサンブルを訓練および評価する。
• 不確実性推定の精度を向上させるために、温度スケーリングと信頼度キャリブレーションを適用する。
• AUROC、AUPR、95% TPRにおけるTNR、DTACCといった標準指標を用いて、異なるOODベンチマークにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 既存のOOD検出手法は、エピステミック不確実性かアレアトリック不確実性に依存するかによって、OODサンプルの検出能力にどのように差が現れるか？
• RQ2 エピステミック不確実性とアレアトリック不確実性の指標を組み合わせることで、個々の手法を上回るOOD検出性能が達成可能か？
• RQ3 各検出器が1つの不確実性タイプに特化したアンサンブルが、標準ベンチマークで最先端の手法を上回るか？
• RQ4 提案手法のアンサンブルは、多様なデータセットおよびネットワークアーキテクチャに対してどれほど頑健か？

主な発見

• 提案されたアンサンブル手法は、SVHNで98.41のAUROC、ImageNetで95.86、LSUNで97.07のAUROCを達成し、個々のベースラインを顕著に上回った。
• DenseNetを用いたSVHNでは、アンサンブルが96.27%（IN）のAUPRと99.39%（OUT）のAUPRを達成し、次に優れた手法（ODIN）を2ポイント以上上回った。
• アブレーションスタディにおいて、エピステミックとアレアトリック不確実性指標を併用することで、単独で用いる場合よりも一貫して検出性能が向上した。
• CIFAR-100でLSUNをOODとすると、97.28%のAUROCと99.88%のAUPR（OUT）を達成し、多様なOOD分布への一般化能力が優れたことが示された。
• SVHN（ResNet34）では、95% TPRにおけるTNRが90.34%に達し、マハラノビス＋ODIN（83.20%）やPCA＋KNN（65.82%）の組み合わせを上回った。
• 結果から、エピステミック不確実性とアレアトリック不確実性は補完的であり、両者の共同モデリングがOOD検出の頑健性を顕著に向上させることを確認した。