[논문 리뷰] Mass Volume Curves and Anomaly Ranking

Stéphan Clémençon, Albert Thomas|arXiv (Cornell University)|2017. 05. 03.

Advanced Statistical Methods and Models참고 문헌 31인용 수 12

한 줄 요약

이 논문은 비지도 이상 탐지에서의 이상치 순위 매기기 성능 기준으로 질량 부피(Mass Volume, MV) 곡선을 도입하며, 이상치 점수를 M-추정 문제로 공식화한다. 최소 부피 집합의 적응적 추정을 통해 데이터 기반으로 조각별로 일정한 점수 함수를 구성하는 방법을 제안하며, 경험적 MV 곡선과 최적 MV 곡선 사이의 초등(norm)에서 일반화 경계를 확보한다. 또한 부스팅된 부트스트랩을 통해 신뢰 영역을 구축하는 이론적 보장을 제공한다.

ABSTRACT

This paper aims at formulating the issue of ranking multivariate unlabeled observations depending on their degree of abnormality as an unsupervised statistical learning task. In the 1-d situation, this problem is usually tackled by means of tail estimation techniques: univariate observations are viewed as all the more `abnormal' as they are located far in the tail(s) of the underlying probability distribution. It would be desirable as well to dispose of a scalar valued `scoring' function allowing for comparing the degree of abnormality of multivariate observations. Here we formulate the issue of scoring anomalies as a M-estimation problem by means of a novel functional performance criterion, referred to as the Mass Volume curve (MV curve in short), whose optimal elements are strictly increasing transforms of the density almost everywhere on the support of the density. We first study the statistical estimation of the MV curve of a given scoring function and we provide a strategy to build confidence regions using a smoothed bootstrap approach. Optimization of this functional criterion over the set of piecewise constant scoring functions is next tackled. This boils down to estimating a sequence of empirical minimum volume sets whose levels are chosen adaptively from the data, so as to adjust to the variations of the optimal MV curve, while controling the bias of its approximation by a stepwise curve. Generalization bounds are then established for the difference in sup norm between the MV curve of the empirical scoring function thus obtained and the optimal MV curve.

연구 동기 및 목표

• 새로운 기능 기준을 사용하여 다변량 이상 탐지 순위를 비지도 M-추정 문제로 공식화하기.
• 이상 탐지에서 점수 함수를 비교할 수 있는 성능 측정 기준인 질량 부피(MV) 곡선을 정의하기.
• 비라벨 데이터로부터 거의 최적의 점수 함수를 구성하는 통계적 학습 절차 개발하기.
• 학습된 점수 함수의 경험적 MV 곡선에 대한 일반화 경계 설정하기.
• 주어진 점수 함수의 MV 곡선 주변에 대해 계산적으로 실현 가능한 부스팅된 부트스트랩 방법을 통한 신뢰 영역 구축 제공하기.

제안 방법

• 이상 탐지 점수 함수 평가를 위한 기능 기준으로 질량 부피(MV) 곡선을 제안하며, 최적 곡선은 기본 밀도의 엄격히 증가하는 변환과 일치한다.
• 부스팅된 부트스트랩을 사용하여 주어진 점수 함수의 MV 곡선에 대한 신뢰 영역을 추정하며, 일致성 결과와 수렴 속도 분석을 제공한다.
• 최소 부피 집합 추정을 위한 신뢰 수준을 적응적으로 선택하는 알고리즘 설계를 통해 최적 MV 곡선의 형태를 재현한다.
• 추정된 최소 부피 집합에 기반하여 조각별 일정한 점수 함수를 구성하며, 경험적 MV 곡선이 최적 곡선을 근사하도록 보장한다.
• 학습된 함수의 경험적 MV 곡선과 최적 MV 곡선 사이의 초등(norm)에서 일반화 경계를 설정하며, 학습 정확도를 정량화한다.
• 핵 밀도 추정과 대역폭 선택을 적용하여 점수 밀도와 그 도함수를 비모수적으로 추정하고, MV 곡선 구성에 활용한다.

실험 결과

연구 질문

• RQ1 고차원 다변량 설정에서 이상 탐지 순위를 기능적 M-추정 문제로 어떻게 공식화할 수 있는가?
• RQ2 MV 곡선 기준으로 볼 때 최적의 점수 함수는 무엇이며, 이는 기본 데이터 밀도와 어떻게 관련되는가?
• RQ3 MV 곡선에 대한 신뢰 영역을 계산적으로 실현 가능한 방식으로 구성할 수 있는가?
• RQ4 적응적 최소 부피 집합 추정을 사용하여 비라벨 데이터로부터 거의 최적의 점수 함수를 어떻게 학습할 수 있는가?
• RQ5 경험적 MV 곡선과 최적 MV 곡선 간의 차이에 대해 어떤 일반화 경계를 설정할 수 있는가?

주요 결과

• 최적의 점수 함수는 그 지지부분에서 거의 확실히 기저 확률 밀도의 엄격히 증가하는 변환이다.
• 적응적 최소 부피 집합 추정을 통해 구성된 경험적 점수 함수의 MV 곡선은 표본 크기와 대역폭에 의해 결정되는 속도로 초등(norm)에서 최적 MV 곡선으로 수렴한다.
• MV 곡선의 신뢰 영역을 위한 부스팅된 부트스트랩 방법은 일치성과 함께 기존 부트스트랩보다 우수하며, 실용적 사용을 뒷받침하는 수렴 속도를 보인다.
• 알고리즘의 일반화 오차는 초등(norm)에서 유계이며, 이 경계는 핵의 VC 특성과 밀도의 매끄러움에 따라 달라진다.
• 최적 MV 곡선의 도함수는 이전에 알려진 것보다 더 단순한 공식을 가지며, 밀도의 도함수와 직접적으로 관련된다.
• 제안된 방법은 최소 부피 집합에 대한 신뢰 수준 선택에서 적응성을 확보하여, 알려지지 않은 최적 MV 곡선 형태에 대한 보다 나은 근사화를 가능하게 한다.