[논문 리뷰] One-Class Support Measure Machines for Group Anomaly Detection

Krikamol Muandet, Bernhard Schölkopf|arXiv (Cornell University)|2013. 03. 01.

Anomaly Detection Techniques and Applications참고 문헌 24인용 수 43

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 내에서 커널 평균 임bedding를 통해 데이터 그룹을 확률 분포로 모델링함으로써 군집 이상 탐지(nonparametric framework)를 위한 One-Class Support Measure Machines(OCSMMs)를 제안한다. 이 방법은 일변도 SVMs를 분포로 일반화하여, 개별적으로 정상이지만 집합적으로 비정상적인 행동을 보이는 그룹(특히 정상 점들의 집합)을 탐지할 수 있도록 문제를 분위수 추정 문제로 재구성하며, SDSS 및 고에너지 물리학 데이터와 같은 실제 데이터셋에서 경쟁적인 성능을 달성한다.

ABSTRACT

We propose one-class support measure machines (OCSMMs) for group anomaly detection which aims at recognizing anomalous aggregate behaviors of data points. The OCSMMs generalize well-known one-class support vector machines (OCSVMs) to a space of probability measures. By formulating the problem as quantile estimation on distributions, we can establish an interesting connection to the OCSVMs and variable kernel density estimators (VKDEs) over the input space on which the distributions are defined, bridging the gap between large-margin methods and kernel density estimators. In particular, we show that various types of VKDEs can be considered as solutions to a class of regularization problems studied in this paper. Experiments on Sloan Digital Sky Survey dataset and High Energy Particle Physics dataset demonstrate the benefits of the proposed framework in real-world applications.

연구 동기 및 목표

• 개별 점들이 정상이지만 집합적으로 비정상적인 행동을 보이는 데이터 포인트 그룹에서의 이상 집합 행동을 탐지하는 문제에 대응하는 것.
• 기본 분포의 파라미터 형식을 가정하지 않는 비모수적 방법을 개발하여 기존의 생성 모델보다 더 넓은 적용 범위를 확보하는 것.
• 기존의 점 이상 탐지에 의존하지 않고 직접적으로 그룹 수준의 이상을 식별하는 상향식 탐지 접근법을 제공함으로써 계산 효율성을 향상시키는 것.
• 분포 수준 이상 탐지 맥락에서 대서열 마진 방법(OCSVM과 유사)과 커널 밀도 추정기(VKDE와 유사) 사이의 격차를 메우는 것.

제안 방법

• 각 데이터 포인트 그룹을 i.i.d. 표본으로부터 경험적으로 추정한 확률 분포로 표현한다.
• 커널 평균 임bedding를 사용해 각 분포를 재생 커널 힐버트 공간(RKHS)에 매핑함으로써 분포를 벡터로 다룰 수 있도록 한다.
• 확률 측도 공간에서의 분위수 추정 문제로 그룹 이상 탐지를 공식화하여, 경험적 분포의 꼬리에 위치한 분포를 식별한다.
• RKHS 임베딩에 기반한 마진 최적화를 정의하여 일변도 SVMs를 측도 공간으로 일반화함으로써 OCSMMs를 도출한다.
• OCSMMs와 변수 커널 밀도 추정기(VKDEs) 사이의 이론적 연결을 수립하여, VKDEs가 OCSMMs의 기초가 되는 동일한 종류의 정규화 문제의 해로 나타남을 보여준다.
• RKHS 임베딩에 가우시안 커널을 사용하고 이중 최적화 공식을 통해 최적화 문제를 해결함으로써 효율적인 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비모수적이고 분포 수준의 접근 방식이 점 기반 또는 생성 모델보다 그룹 이상을 더 효과적으로 탐지할 수 있는가?
• RQ2 일변도 SVMs는 개별 데이터 포인트가 아닌 확률 측도에서 작동하도록 어떻게 일반화할 수 있는가?
• RQ3 분포 수준 이상 탐지 맥락에서 대서열 마진 방법과 커널 밀도 추정기 사이의 관계는 무엇인가?
• RQ4 제안된 방법은 힉스 보손 신호 탐지와 같은 응용에서 정상 점들의 집합에서 미세하고 고차원 통계 이상을 탐지할 수 있는가?
• RQ5 기존의 점 이상 탐지에 의존하는 하향식 방법에 비해 상향식 OCSMM 접근 방식은 성능과 효율성 면에서 어떻게 비교되는가?

주요 결과

• OCSMMs는 개별 포인트가 비정상적이지 않은 경우에도 그룹 수준 이상 탐지에서 기존의 점 이상 탐지 알고리즘을 능가한다.
• 스ローン 디지털 스카이 서베이(Sloan Digital Sky Survey) 데이터셋에서 OCSMMs는 비정상적인 집합 행동을 보이는 은하의 집단을 성공적으로 탐지한다.
• 고에너지 입자 물리학 실험에서 OCSMMs는 ROC 성능 면에서 경쟁력을 발휘하여 배경 사건들 사이에서 힉스 보손 신호를 비정상적인 집단으로 탐지한다.
• OCSMM 프레임워크는 MGM 알고리즘을 능가하고 KNN 기반 그룹 이상 탐지보다 ROC 곡선 아래 면적에서 유사하거나 뛰어난 성능을 보인다.
• 직접적인 상향식 탐지 전략 덕분에 계산이 효율적이고 확장 가능하여 온라인 및 대규모 응용에 적합하다.
• 이론적 분석을 통해 다양한 변수 커널 밀도 추정기(VKDEs)가 OCSMMs의 기초가 되는 동일한 종류의 정규화 문제의 해로 나타남을 보여주며, 대서열 마진 접근법과 밀도 추정 접근법 사이의 공식적인 연결 고리를 확립한다.