[論文レビュー] A Simple Fix to Mahalanobis Distance for Improving Near-OOD Detection

Jie Ren, Stanislav Fort+4 more|arXiv (Cornell University)|Jun 16, 2021

Adversarial Robustness in Machine Learning参考文献 21被引用数 71

ひとこと要約

本論は Mahalanobis 距離の near-OOD 検出における失敗を分析し、Relative Mahalanobis Distance (RMD) を導入する。これは背景を補正した簡便な修正で、追加の学習なしに diverse benchmarks で near-OOD AUROC を改善する。

ABSTRACT

Mahalanobis distance (MD) is a simple and popular post-processing method for detecting out-of-distribution (OOD) inputs in neural networks. We analyze its failure modes for near-OOD detection and propose a simple fix called relative Mahalanobis distance (RMD) which improves performance and is more robust to hyperparameter choice. On a wide selection of challenging vision, language, and biology OOD benchmarks (CIFAR-100 vs CIFAR-10, CLINC OOD intent detection, Genomics OOD), we show that RMD meaningfully improves upon MD performance (by up to 15% AUROC on genomics OOD).

研究の動機と目的

• 再学習やOODデータの要件なしで、堅牢な近傍OOD検出を動機づける。
• 近傍OOD設定における標準的な Mahalanobis 距離（MD）の失敗モードを特定する。
• INDと近傍OODデータ間の識別性を改善する、単純でハイパーパラメータ不要の修正（RMD）を提案する。
• 視覚・言語・ゲノミクスのベンチマークにおけるRMDの頑健性と性能を示す。

提案手法

• 中間ネットワーク特徴に対するクラス条件付きガウス適合を用いたOOD検出のためのMDをレビューする。
• すべての訓練特徴上で背景（クラス非依存）ガウス適合を定義する。
• 各クラス k に対して MD_k(z') = (z' - mu_k)^T Sigma^{-1} (z' - mu_k) を計算する。
• 背景モデル N(mu_0, Sigma_0) から MD_0(z') を計算する。
• Relative Mahalanobis Distance を定義する: RMD_k(z') = MD_k(z') - MD_0(z').
• C_RMD(x') = -min_k { RMD_k(z') } をOOD検出の信頼度スコアとして用いる；同等には尤度比の見方で max_k log p_k(z') - log p_0(z').
• RMD が非識別的な背景特徴からの寄与を削減し、識別的な上位次元を強調することを示す。

実験結果

リサーチクエスチョン

• RQ1 MDベースのOOD検出は、高次元の非識別的特徴のため近傍-OODの場合に信頼性を欠くことがあるか？
• RQ2 背景補正スコア（RMD）は、追加の訓練やOODデータなしで、識別的データと近傲OODデータの分離を改善するか？
• RQ3 RMD はハイパーパラメータの選択に頑健で、複数のモダリティと事前学習設定で効果的か？
• RQ4 視覚、言語、ゲノミクスの近傍OODベンチマークにおいて、MDとMSPと比較してRMDはどうか？

主な発見

• RMD は複数のベンチマークで、再訓練やOODデータ不要のまま MD よりも近傍OODの AUROC を一貫して改善する。
• CIFAR-100 対 CIFAR-10 では、MD AUROC 74.91% に対し RMD 81.01%（MSP 80.14%）。
• CIFAR-10 対 CIFAR-100 では、MD AUROC 88.49% に対し RMD 89.71%（MSP 89.27%）。
• ゲノミクス分野のOODは、事前学習モデルを用いた場合に RMD が MD より大きな利得を示す（例; MD 48.46% 対 RMD 60.36%、BERT事前学習）。CLINC OOD: MD 75.48% 対 RMD 91.98%（BERT事前学習）。
• 事前学習したバックボーンをファインチューニングせずに用いた場合、RMD は ViT、BiT、CLIP、BERT ベースの設定で MD を上回る。例えば BiT を用いた CIFAR-100 対 CIFAR-10 では MD 81.37% 対 RMD 84.60%。
• ファインチューニング後は MD の性能が向上することが多く、RMD とのギャップが縮まる場合もある（例: CIFARタスクの ViT-B16 では MD 93.09% 対 RMD 93.09% のときは MD が 94.42%、CIFAR-10 対 CIFAR-100 では MD 99.87% 対 RMD 98.82%）。
• RMD は MD より訓練中の安定性が高く、ゲノミクスのBERTファインチューニングなどで MD が低下する場面でも堅牢性を保つ。