[論文レビュー] Out-of-Distribution Detection with Deep Nearest Neighbors

Yiyou Sun, Yifei Ming+2 more|arXiv (Cornell University)|Apr 13, 2022

Anomaly Detection Techniques and Applications被引用数 61

ひとこと要約

この論文は、深層特徴空間におけるノンパラメトリックな KNN ベースの OOD デテクタを提案し、分布仮定なしで強い性能を発揮し、ImageNet のような大規模データセットへスケールすることを示す。多くの場合、パラメトリックなベースラインを上回る。

ABSTRACT

Out-of-distribution (OOD) detection is a critical task for deploying machine learning models in the open world. Distance-based methods have demonstrated promise, where testing samples are detected as OOD if they are relatively far away from in-distribution (ID) data. However, prior methods impose a strong distributional assumption of the underlying feature space, which may not always hold. In this paper, we explore the efficacy of non-parametric nearest-neighbor distance for OOD detection, which has been largely overlooked in the literature. Unlike prior works, our method does not impose any distributional assumption, hence providing stronger flexibility and generality. We demonstrate the effectiveness of nearest-neighbor-based OOD detection on several benchmarks and establish superior performance. Under the same model trained on ImageNet-1k, our method substantially reduces the false positive rate (FPR@TPR95) by 24.77% compared to a strong baseline SSD+, which uses a parametric approach Mahalanobis distance in detection. Code is available: https://github.com/deeplearning-wisc/knn-ood.

研究の動機と目的

• 特徴空間についての分布仮定を回避するO O D検出のノンパラメトリックなアプローチを動機づけ、評価する。
• 深層 KNN 距離が k-NN 距離の単純な閾値によって ID と OOD データを分離できることを示す。
• モデルアーキテクチャや訓練損失（CE と SupCon）を跨いだロバストネスを示す。
• KNN ベースの意思決定を汚染モデル下のベイズ最適検出と結びつける理論的正当化を提供する。

提案手法

• 訓練データとテストデータの両方について、正規化済みペンultimate層の特徴 z = phi(x)/||phi(x)||_2 を計算する。
• テスト時に、訓練埋め込み Z_n への k-近傍距離 r_k(z*) を計算する。
• -r_k(z*) >= lambda を満たす場合 OOD と宣言する。lambda は ID データの高い割合（例: 95%）を正しく分類できるように選択される。
• 事前計算された ID 埋め込みに対して効率的な近似最近傍探索を提供する Faiss を使用する。
• 異なるバックボーン（CNNs と ViT）および訓練損失（CE と SupCon）との互換性を示す。
• 必要に応じて活性化 rectification（ReAct）を適用し、k 番目距離と平均化した k 距離を比較する。

実験結果

リサーチクエスチョン

• RQ1 ノンパラメトリックな最近傍距離だけで、特徴空間のパラメトリック形を仮定せずに有効な OOD 検出が可能か。
• RQ2 KNNベースのOOD検出は、異なるアーキテクチャ（CNNs、ViTs）と訓練 loss（CE、SupCon）でどう性能が変わるか。
• RQ3 設計 choices（正規化、特徴空間の選択、k の値、サンプリング）が OOD 検出性能と速度に最も影響を与えるのはどれか。
• RQ4 KNNベースのOOD検出は ImageNet のような大規模データセットに対して、推論時間競争力を保ちながらスケールするか。

主な発見

• KNNベースのOOD検出は、同じ ImageNet-1k モデルの下で強力な Mahalanobis ベースラインと比較して偽陽性を大幅に低減（FPR@TPR95 が 24.77% 改善）。
• CIFAR-10 で SupCon を用いた場合、KNN+ は難易度の高い OOD タスクで SSD+ より低い FPR95 を示し、コントラスト学習表現でノンパラメトリック法の優位性を示す。
• 表に引用された結果では、CIFAR-10 の平均で KNN+ が 11.07 FPR95 を達成し、IForest、OCSVM、LOF などを上回る強力なノンパラメトリック性能を示す。
• KNN ベースの手法は大規模データセット（ImageNet規模）でも推論速度を維持し、1% サンプリングのみで全データセット性能に近づけることが可能。
• ViT-B/16 にまたがって、KNN は複数の OOD データセット（iNaturalist、SUN、Places、Textures）で Mahalanobis を上回る。
• activation rectification（ReAct） はさらに KNN+ の性能を向上させ（ImageNet-1k で FPR95 を 38.47 から 26.45 に低減）。