[論文レビュー] Why is the Mahalanobis Distance Effective for Anomaly Detection?

Ryo Kamoi, Kei Kobayashi|arXiv (Cornell University)|Mar 1, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用数 42

ひとこと要約

この論文は、なぜ Mahalanobis 距離ベースの信頼度スコアが OoD および敵対的検出において良く機能するかを分析し、分類に使用されない高次元の特徴方向が原因であることを示し、周辺/部分的な Mahalanobis のバリアントと ODIN を組み合わせた検出器を提案する。

ABSTRACT

The Mahalanobis distance-based confidence score, a recently proposed anomaly detection method for pre-trained neural classifiers, achieves state-of-the-art performance on both out-of-distribution (OoD) and adversarial examples detection. This work analyzes why this method exhibits such strong performance in practical settings while imposing an implausible assumption; namely, that class conditional distributions of pre-trained features have tied covariance. Although the Mahalanobis distance-based method is claimed to be motivated by classification prediction confidence, we find that its superior performance stems from information not useful for classification. This suggests that the reason the Mahalanobis confidence score works so well is mistaken, and makes use of different information from ODIN, another popular OoD detection method based on prediction confidence. This perspective motivates us to combine these two methods, and the combined detector exhibits improved performance and robustness. These findings provide insight into the behavior of neural classifiers in response to anomalous inputs.

研究の動機と目的

• 共分散が結びついた仮定にもかかわらず、Mahalanobis 距離ベースの信頼度スコアが OoD および敵対的検出に機能する理由を評価する。
• 分類に中心的でない高次元の特徴方向の役割を調査する。
• さまざまな特徴部分空間の情報量を検証するための周辺（ marginal）および部分的（ partial） Mahalanobis バリアントを提案する。
• Mahalanobis ベースの検出と ODIN を組み合わせて OoD 検出の頑健性を向上させることを提案する。
• 異常な入力下でのニューラル分類器の挙動に関する指針を提供する。

提案手法

• 結合分散仮定の下での Mahalanobis 距離ベースの信頼度スコアをレビューおよび分析する。
• 異常検知と分類の情報分離のために、部分的および周辺 Mahalanobis 距離を導入する。
• 複数のデータセットで OoD および敵対的検出タスクに対して、元の、部分的、周辺バリアントを経験的に比較する。
• Mahalanobis ベースの検出器に ODIN を追加の特徴として加えることで、簡単な検出器の組み合わせを提案する。
• CIFAR-10/100、SVHN、Tiny ImageNet、LSUN などのデータセットで AUROC を主要指標として評価する。

実験結果

リサーチクエスチョン

• RQ1 共分散の結合仮定にもかかわらず、なぜ Mahalanobis 信頼度スコアは OoD および敵対的検出で良好に機能するのか？
• RQ2 ニューラル特徴表現のどの部分空間が異常検知と分類性能のどちらに寄与するのか？
• RQ3 より単純で情報のみを用いるバリアント（周辺/部分的 Mahalanobis）は、元の手法と同等かそれ以上を達成できるか？
• RQ4 Mahalanobis ベースの検出と ODIN の組み合わせは、 OoD 検出の頑健性と性能を改善するか？
• RQ5 これらの知見は、異常入力下でのニューラル分類器の挙動理解にどう寄与するか？

主な発見

• Mahalanobis スコアは、説明変動が小さい特徴方向に含まれる情報によって強力であり、主に分類信頼度によるものではない。
• 高分散成分（P1-9）を用いた部分的 Mahalanobis は分類性能と一致し、低分散成分（P10-512）は OoD 検出を駆動する。
• クラス情報を無視し、ペンultimate 特徴上で単一のガウス分布を用いた周辺 Mahalanobis 距離は、元のスコアと同等の OoD 検出性能を達成する。
• 周辺 Mahalanobis と ODIN の組み合わせは、見たことのないデータを含む OoD 検出を改善し、それらが補完的な情報に依存することを示している。
• 複数データセットにわたる実証結果は、周辺および部分的バリアントが OoD タスクで元の Mahalanobis の性能に匹敵するか、ほぼ近づくことを示し、敵対的検出でも同様の競争力が見られる。
• 本研究は、ニューラル分類器が異常な入力に反応する理由への洞察を提供し、実用的な検出器の強化を示唆している。