[논문 리뷰] Why is the Mahalanobis Distance Effective for Anomaly Detection?

Ryo Kamoi, Kei Kobayashi|arXiv (Cornell University)|2020. 03. 01.

Adversarial Robustness in Machine Learning참고 문헌 50인용 수 42

한 줄 요약

이 논문은 왜 Mahalanobis 거리 기반 신뢰도 점수가 OoD 및 적대적 탐지에 잘 작동하는지 분석하고, 분류에 사용되지 않는 고차원 특징 방향에서 효과가 발생한다는 것을 보여주며, 주변/부분 Mahalanobis 변형과 ODIN을 결합한 탐지기를 제안한다.

ABSTRACT

The Mahalanobis distance-based confidence score, a recently proposed anomaly detection method for pre-trained neural classifiers, achieves state-of-the-art performance on both out-of-distribution (OoD) and adversarial examples detection. This work analyzes why this method exhibits such strong performance in practical settings while imposing an implausible assumption; namely, that class conditional distributions of pre-trained features have tied covariance. Although the Mahalanobis distance-based method is claimed to be motivated by classification prediction confidence, we find that its superior performance stems from information not useful for classification. This suggests that the reason the Mahalanobis confidence score works so well is mistaken, and makes use of different information from ODIN, another popular OoD detection method based on prediction confidence. This perspective motivates us to combine these two methods, and the combined detector exhibits improved performance and robustness. These findings provide insight into the behavior of neural classifiers in response to anomalous inputs.

연구 동기 및 목표

• Mahalanobis 거리 기반 신뢰도 점수가 결합된 공분산이 같다는 가정에도 불구하고 OoD 및 적대적 탐지에 작동하는 원인을 평가한다.
• 분류와 중심이 되지 않는 고차원 특징 방향의 역할을 조사한다.
• 다양한 특징 부분공간의 정보 내용을 테스트하기 위해 주변 및 부분 Mahalanobis 변형을 제안한다.
• ODIN을 추가 특성으로 결합한 Mahalanobis 기반 탐지기를 제안하여 OoD 탐지 강건성을 향상시킨다.
• 이상 입력하에서 신경망 분류기의 동작에 대한 지침을 제공한다.

제안 방법

• 동일 공분산 가정하의 Mahalanobis 거리 기반 신뢰도 점수를 검토하고 분석한다.
• 정보 유용성을 탐지와 분류로 분리하기 위해 부분 및 주변 Mahalanobis 거리를 도입한다.
• 원래 변형, 부분 변형, 주변 변형을 다수의 데이터셋에서 OoD 및 적대적 탐지 task에 대해 경험적으로 비교한다.
• Mahalanobis 기반 탐지기에 ODIN을 추가 피처로 더해 간단한 탐지기 결합을 제안한다.
• CIFAR-10/100, SVHN, Tiny ImageNet, LSUN 등의 데이터셋에서 AUROC를 기본 지표로 평가한다.

실험 결과

연구 질문

• RQ1 Mahalanobis 신뢰도 점수가 공분산이 같다는 가정에도 불구하고 OoD 및 적대적 탐지에 대해 왜 잘 작동하는가?
• RQ2 신경망 특징 표현에서 이상 탐지 성능과 분류 성능에 기여하는 부분공간은 무엇인가?
• RQ3 더 간단한 정보 전용 변형들(마진/부분 Mahalanobis)이 원래 접근법과 같거나 더 나은가?
• RQ4 Mahalanobis 기반 탐지와 ODIN의 결합이 OoD 탐지의 강건성과 성능을 향상시키는가?
• RQ5 이러한 발견이 이상 입력에서의 신경망 분류기 동작 이해에 어떻게 정보를 제공하는가?

주요 결과

• Mahalanobis 점수는 분류 신뢰도보다는 작은 분산으로 설명되는 특징 방향의 정보로 인해 강력하며, 이로 인해 성능이 좌우된다.
• 고분산 구성요소(P1-9)를 사용하는 부분 Mahalanobis는 분류 성능과 일치하고, 저분산 구성요소(P10-512)는 OoD 탐지에 작용한다.
• 클래스 정보를 무시하고 penultimate 특징들 위에 단일 가우시안만 사용하는 주변 Mahalanobis 거리는 원래 점수와 비교해 유사한 OoD 탐지 성능을 달성한다.
• marginal Mahalanobis와 ODIN의 결합은 미지의 데이터 포함 OoD 탐지 성능을 향상시키며, 서로 보완적인 정보를 활용함을 시사한다.
• 다수의 데이터셋에 걸친 경험적 결과는 주변 및 부분 변형이 OoD 작업에서 원래 Mahalanobis 성능과 비슷하거나 근접하게 맞춰질 수 있음을 보여주며, 적대적 탐지에서도 유사한 경쟁력을 나타낸다.
• 이 연구는 신경망 분류기가 이상 입력에 반응하는 이유에 대한 통찰을 제공하고 실용적 탐지기 개선점을 제안한다.