[논문 리뷰] MCODE: Multivariate Conditional Outlier Detection

Charmgil Hong, Miloš Hauskrecht|arXiv (Cornell University)|2015. 05. 15.

Anomaly Detection Techniques and Applications참고 문헌 43인용 수 4

한 줄 요약

MCODE는 다변량 조건부 이상 탐지 문제를 분류기 체인을 통해 다변량 출력을 확률 벡터 공간으로 매핑함으로써 조건부 이상 탐지 문제를 무조건적 문제로 변환하는 다변량 조건부 이상 탐지 방법을 제안한다. 이러한 조건부 확률 벡터에 이상 탐지 점수 기법을 적용함으로써 MCODE는 특히 희박한 이상치에 대해 맥락 의존적 이상치 탐지 성능을 크게 향상시켰으며, 다양한 데이터셋과 이상치 주입 비율에서 기준 방법들을 능가한다.

ABSTRACT

Outlier detection aims to identify unusual data instances that deviate from expected patterns. The outlier detection is particularly challenging when outliers are context dependent and when they are defined by unusual combinations of multiple outcome variable values. In this paper, we develop and study a new conditional outlier detection approach for multivariate outcome spaces that works by (1) transforming the conditional detection to the outlier detection problem in a new (unconditional) space and (2) defining outlier scores by analyzing the data in the new space. Our approach relies on the classifier chain decomposition of the multi-dimensional classification problem that lets us transform the output space into a probability vector, one probability for each dimension of the output space. Outlier scores applied to these transformed vectors are then used to detect the outliers. Experiments on multiple multi-dimensional classification problems with the different outlier injection rates show that our methodology is robust and able to successfully identify outliers when outliers are either sparse (manifested in one or very few dimensions) or dense (affecting multiple dimensions).

연구 동기 및 목표

• 기존의 무조건적 방법이 맥락 민감성으로 인해 실패하는 다변량 결과 공간에서 맥락 의존적 이상치 탐지의 과제를 해결하기 위해.
• 특히 일부 차원에만 영향을 주거나 희박한 경우에 발생하는 다중 결과 변수의 이국적인 조합으로 정의되는 이상치를 식별하기 위한 방법을 개발하기 위해.
• 분류기 체인에서 유도된 확률 벡터 표현을 사용해 조건부 탐지 문제를 무조건적 문제로 변환함으로써 이상 탐지 성능을 향상시키기 위해.
• 다양한 다차원 데이터셋과 변화하는 이상치 주입 비율, 이상치가 영향을 주는 차원 수를 고려해 MCODE의 효과성을 평가하기 위해.
• 표준 기준 방법과 비교해 조건부 확률을 별도로 모델링할 경우 미세하고 희박한 이상치에 더 민감하게 반응함을 입증하기 위해.

제안 방법

• 분류기 체인을 사용해 출력 공간을 조건부 확률 벡터로 표현함으로써 다변량 조건부 이상 탐지 문제를 무조건적 문제로 변환한다.
• 분류기 체인 분해를 통해 P(y|x)를 단변량 조건부 확률 P(y_i | x, y_π(i))의 곱으로 모델링함으로써 각 결과 차원을 별도로 분석할 수 있도록 한다.
• 변환된 확률 벡터에 대해 다섯 가지 이상 탐지 점수 기법(RB, LOF, OCSVM 등)을 적용하여 조건부 공간에서의 비정상성을 탐지한다.
• 테스트 인스턴스의 0.5%에서 p개의 반응 차원을 무작위로 변형하여 다양한 이상치 패턴의 희박성 정도를 시뮬레이션한다.
• 증가하는 이상치가 영향을 주는 차원 수를 고려해 제어된 환경에서 AUC 및 AUC-PR 지표를 사용해 성능을 평가한다.
• 10겹 교차검증을 3회 반복하여 결과의 강건성과 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 확률 벡터 표현을 통해 조건부 이상 탐지 문제를 무조건적 문제로 변환하면 탐지 성능 향상이 가능할까?
• RQ2 이상치가 한 개 또는 몇 개의 차원에만 영향을 주는 다변량 데이터에서 MCODE는 어떻게 성능을 발휘하는가(희박한 이상치에 대해)?
• RQ3 각 인스턴스에서 이상치가 영향을 주는 차원 수가 증가함에 따라 MCODE의 성능은 유지되거나 향상되는가?
• RQ4 다양한 다차원 데이터셋에서 MCODE는 기준 방법(RB, LOF, OCSVM)과 비교해 AUC 및 AUC-PR 측면에서 어떻게 성능을 발휘하는가?
• RQ5 특히 이상치가 맥락적으로 드물지만 개별적으로 빈도가 높은 경우에, 제안된 방법은 반응 공간의 미세한 변동에 민감한가?

주요 결과

• MCODE는 기준 방법들, 특히 RB와 OCSVM에 비해 AUC 점수를 크게 향상시켜 조건부 확률 공간에서의 탐지 능력 향상을 입증한다.
• 증가하는 이상치가 영향을 주는 차원 수를 고려한 실험에서 MCODE는 초기 단계부터 높은 AUC-PR 점수를 유지하며, 희박한 이상치에 대한 뛰어난 민감도를 보여준다.
• MCODE-LOF는 기준 LOF보다 개선된 AUC-PR 점수를 기록하여, 이미 강력한 방법이라도 조건부 확률 공간에서 작업할 경우 성능 향상이 가능함을 시사한다.
• 이상치가 영향을 주는 차원 수가 증가함에 따라 MCODE와 기준 방법 간의 성능 격차가 커지며, 이는 MCODE가 높은 이상치 집합 패턴에 대해 강건함을 확인한다.
• Mediamill, Bibtex, Corel5k 데이터셋 전반에서 MCODE는 모든 기준 방법을 일관되게 능가하며, 특히 탐지가 가장 어려운 저이상치차원 환경에서 두각을 나타낸다.
• 결과는 분류기 체인을 통해 출력 간 의존성을 모델링하고 유도된 확률 벡터를 분석할 경우, 표준 방법을 직접 적용하는 것보다 더 효과적이고 민감한 이상 탐지가 가능함을 확인한다.