[論文レビュー] Back to the Basics: Revisiting Out-of-Distribution Detection Baselines

Johnson Kuan, Jonas Mueller|arXiv (Cornell University)|Jul 7, 2022

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

この論文は、単純でモデルに依存しない分布外（OOD）検出手法を再検討し、事前学習済み分類器の特徴表現をK近傍法（KNN）距離を用いて活用することで、Maximum Softmax Probability（MSP）のような予測のみに依存するベースラインを著しく上回ることを示している。主な貢献は、埋め込み空間内の距離に基づく極めてシンプルなKNNベースのOOD検出手法を提唱することであり、CIFAR、MNIST、Fashion-MNISTの標準ベンチマークにおいて、ResNet-50およびSwin Transformerモデルで最先端の性能を達成している。

ABSTRACT

We study simple methods for out-of-distribution (OOD) image detection that are compatible with any already trained classifier, relying on only its predictions or learned representations. Evaluating the OOD detection performance of various methods when utilized with ResNet-50 and Swin Transformer models, we find methods that solely consider the model's predictions can be easily outperformed by also considering the learned representations. Based on our analysis, we advocate for a dead-simple approach that has been neglected in other studies: simply flag as OOD images whose average distance to their K nearest neighbors is large (in the representation space of an image classifier trained on the in-distribution data).

研究の動機と目的

• 事前学習済み分類器からの予測値や学習済み表現にのみ依存する、シンプルでモデルに依存しないOOD検出手法の性能を評価すること。
• モデルの予測値（例：MSP、エントロピー）にのみ依存する手法が十分であるか、それとも学習済み表現を組み込むことでOOD検出性能が向上するかを調査すること。
• 任意の訓練済み分類器と互換性があり、解釈可能で非常に効果的なOOD検出手法を同定し、提唱すること。
• 信頼性の高いOOD検出には複雑な生成モデルが必要であるという仮定に挑戦し、表現空間における基本的なKNNが競争力のある性能を示すことを示すこと。

提案手法

• 事前学習済み分類器の埋め込み空間における入力画像のK個の近隣の平均距離を計算することでOOD検出を行うKNNベースの手法を提案する。
• 分布内データで学習された分類器の学習済み表現（埋め込み）を、局所的密度推定の特徴空間として用いる。
• 平均KNN距離をOODスコアとして採用する：距離が大きいほど分布外である可能性が高い。
• 距離のみのバージョンに加え、近隣の予測値も考慮する距離-予測併用バージョン（KNN_DistPredおよびKNN_Prediction）を含む拡張を実施する。
• ResNet-50およびSwin Transformerモデルに適用し、CIFAR-10 vs. CIFAR-100、MNIST vs. Fashion-MNISTなどの標準OODベンチマークで評価する。
• 複数の分布内および分布外データセットペアにおいて、主にAUROCを評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み分類器の埋め込み空間のみを用いたシンプルなKNNベースの手法が、MSP やエントロピーといった既存のベースラインを上回ることができるか？
• RQ2 学習済み表現（埋め込み）を組み込むことで、モデルの予測値にのみ依存する手法と比較して、OOD検出性能が顕著に向上するか？
• RQ3 異なるKの値に対して、提案手法の性能が多様なモデルアーキテクチャおよびデータセットでどのように変化するか？
• RQ4 特にドメインシフトが顕著な場合を含め、分布内と分布外のデータセットの組み合わせに対して、KNNベースの手法が堅牢かつ効果的であるか？
• RQ5 エピステミック的不確実性の代理として劣っているにもかかわらず、Maximum Softmax Probability（MSP）がなぜOOD検出で良好な性能を示すのか。また、より単純な表現ベースの手法がMSPを上回れるか？

主な発見

• K近傍法に基づくOOD検出手法（平均K近傍距離）は、すべてのテスト済みデータセットでResNet-50およびSwin Transformerモデルにおいて、最先端のAUROCスコアを達成した。
• Swin Transformerでは、CIFAR-10 vs. CIFAR-100でAUROC 0.9917、MNIST vs. Roman NumeralsでAUROC 0.9989を達成し、MSP（0.9689）およびエントロピー（0.9690）を上回った。
• ResNet-50では、CIFAR-10 vs. CIFAR-100でAUROC 0.9390、MNIST vs. Roman NumeralsでAUROC 1.0000を達成し、MSP（0.9268）およびエントロピー（0.9318）を上回った。
• K=5でもAUROC >0.99を複数の設定で達成し、K=5からK=100の範囲で性能が安定していることから、ハイパーパrameter選択に対して頑健であることが示された。
• 特に困難なOODシフトに対して、KNN距離手法はマハラノビス距離、RMD、隔離フォレストといったより複雑なベースラインを常に上回った。
• 本研究では、MSP やエントロピーに比べて、KNN距離のような単純な表現ベースの手法が、効果的であるだけでなく、複雑な生成モデルよりも解釈可能で実用的であることが示された。生成モデルはチューニングが煩雑で、モデル固有である。