[논문 리뷰] On Anomaly Ranking and Excess-Mass Curves

Nicolas Goix, Anne Sabourin외 1명|arXiv (Cornell University)|2015. 02. 05.

Anomaly Detection Techniques and Applications참고 문헌 12인용 수 7

한 줄 요약

이 논문은 다변량 설정에서 이상치 순위 매기기의 새로운 성능 기준으로 초과 질량(Excess-Mass, EM) 곡선을 제안하며, 볼륨 제약 조건 하에서 수준 집합의 질량을 최대화하는 기능적 기준을 제공함으로써 최소 볼륨 집합의 목적을 반전시킴. 이는 지지가 유계가 아닌 경우에도 $n^{-1/2}$ 수렴 속도를 갖는 적응형 점수 함수 추정기의 제안과 함께, 진짜 밀도와 추정 밀도 간의 $L^1$-거리에 의한 모델 편향을 엄격히 통제함으로써, 최소한의 가정 하에서도 보편적인 일致성 달성을 가능하게 함.

ABSTRACT

Learning how to rank multivariate unlabeled observations depending on their degree of abnormality/novelty is a crucial problem in a wide range of applications. In practice, it generally consists in building a real valued "scoring" function on the feature space so as to quantify to which extent observations should be considered as abnormal. In the 1-d situation, measurements are generally considered as "abnormal" when they are remote from central measures such as the mean or the median. Anomaly detection then relies on tail analysis of the variable of interest. Extensions to the multivariate setting are far from straightforward and it is precisely the main purpose of this paper to introduce a novel and convenient (functional) criterion for measuring the performance of a scoring function regarding the anomaly ranking task, referred to as the Excess-Mass curve (EM curve). In addition, an adaptive algorithm for building a scoring function based on unlabeled data X1 , . . . , Xn with a nearly optimal EM is proposed and is analyzed from a statistical perspective.

연구 동기 및 목표

• 비모수적 학습에서 다변량 이상치 순위 매기기의 원리적인 성능 기준 부족 문제를 해결하기 위해.
• 지지가 무한대일 수 있는 기저 분포가 존재하더라도 잘 작동하는 통계적으로 일치하는 적응형 점수 함수 추정기를 개발하기 위해.
• 진짜 밀도 수준 집합이 가설 클래스에 포함되지 않을 경우에도 모델 편향을 이론 분석에 통합하여, 정확한 밀도 수준 집합 일치가 필요 없도록 하는 것을 위해.
• 실제 EM 곡선 최적화에 대해 $n^{-1/2}$ 수렴 속도의 하한을 제공함으로써 이전의 $n^{-1/4}$ 수렴 속도를 향상시키기 위해.

제안 방법

• 볼륨 제약 조건 하에서 수준 집합의 질량을 최대화하는 기능적 기준으로 초과 질량(EM) 곡선을 제안함.
• 주어진 볼륨에 대해 모든 가측 집합에 대한 초과 질량의 상한으로 최적의 EM 곡선을 정의하며, 이는 밀도 등고선 군집과 일치함.
• 유한한 임계값 그리드에 대한 EM 기준의 이산화된 최적화를 통해 중첩된 실측 밀도 수준 집합의 수열을 구성함.
• 균일 수렴 추론과 농도 불등식을 사용하여 실측과 진짜 EM 곡선 간의 편차를 높은 확률로 유계화함.
• 진짜 밀도 $f$ 와 가설 클래스 $\mathcal{F}$ 위로의 투영 $f_F$ 간의 $L^1$-거리에 의해 모델 편향을 통합하고, 균일하게 유계화함.
• 모수적 가정이 없을 경우에도 일치성과 적응성을 확보하기 위해 실측 분위수 기반의 데이터 기반 임계값 전략을 사용함.

실험 결과

연구 질문

• RQ1 비모수적 다변량 이상치 순위 매기기의 기능적 기준을 정의할 수 있는가? 이는 단일 변수 尾 분석을 일반화하고 일관된 학습을 가능하게 하는가?
• RQ2 유계가 아닌 지지에서, 기존의 질량-볼륨 곡선과 비교해 EM 곡선이 더 빠른 수렴 속도를 제공하는가?
• RQ3 진짜 밀도 수준 집합이 가설 클래스에 포함되지 않을 경우, 이상치 순위 매기기에서 모델 편향을 공식적으로 정량화하고 통제할 수 있는가?
• RQ4 최소한의 정규성 가정 하에서도 이상치 점수 함수에 대해 $n^{-1/2}$ 수렴 속도를 달성할 수 있는가?

주요 결과

• 제안된 EM 곡선 기준은 최적의 점수 함수가 밀도의 비감소 변환에 대해 불변임을 보장하여, 이상치 순위 매기기의 목표와 일치함.
• 실측 EM 곡선 최적화에 대해 $n^{-1/2}$ 수렴 속도를 달성함으로써, 이전의 질량-볼륨 곡선 방법의 $n^{-1/4}$ 수렴 속도보다 훨씬 빠름.
• 약간의 정규성 조건 하에서 기저 분포의 지지가 무한대일 경우에도 이 방법은 일관성과 $n^{-1/2}$ 수렴 속도를 유지함.
• 모델 편향은 $\|f - f_F\|_{L^1}$ 으로 균일하게 유계화되어, 모델 잘못 지정에 의한 근사 오차의 비점근적 통제를 제공함.
• 농도 불등식과 EM 곡선의 도함수 성질에 기반한 고확률 균일 편차 유계를 통해 이론적 보장을 확립함.
• 알고리즘은 중첩된 실측 밀도 수준 집합의 수열을 생성하여 관측치를 이상도 점수에 따라 자연스럽게 순위 매김할 수 있음.