[논문 리뷰] A Multivariate Extreme Value Theory Approach to Anomaly Clustering and Visualization

Maël Chiapino, Stéphan Clémençon외 2명|arXiv (Cornell University)|2019. 07. 17.

Financial Risk and Volatility Modeling참고 문헌 49인용 수 9

한 줄 요약

이 논문은 이변량 극값 이론(MEV) 기반 혼합 모델을 제안하여 이상 유형을 잠재 변수로 간주함으로써 고차원 데이터에서 극단적 사건을 군집화하고 시각화한다. 극단적 분포를 변수의 하위군에 대한 소프트 혼합으로 모델링함으로써 이방식은 이상 간 유사도 측도를 도출하며, 스펙트럼 군집화 및 그래프 마이닝 도구를 통해 효과적인 2차원 시각화를 가능하게 한다. 기존의 K-means 및 스펙트럼 군집화 대비 실제 항공우주 및 UCI 데이터셋에서 더 높은 군집 순도를 보였다.

ABSTRACT

In a wide variety of situations, anomalies in the behaviour of a complex system, whose health is monitored through the observation of a random vector X = (X1,. .. , X d) valued in R d , correspond to the simultaneous occurrence of extreme values for certain subgroups $\\alpha$ $\\subset$ {1,. .. , d} of variables Xj. Under the heavy-tail assumption, which is precisely appropriate for modeling these phenomena, statistical methods relying on multivariate extreme value theory have been developed in the past few years for identifying such events/subgroups. This paper exploits this approach much further by means of a novel mixture model that permits to describe the distribution of extremal observations and where the anomaly type $\\alpha$ is viewed as a latent variable. One may then take advantage of the model by assigning to any extreme point a posterior probability for each anomaly type $\\alpha$, defining implicitly a similarity measure between anomalies. It is explained at length how the latter permits to cluster extreme observations and obtain an informative planar representation of anomalies using standard graph-mining tools. The relevance and usefulness of the clustering and 2-d visual display thus designed is illustrated on simulated datasets and on real observations as well, in the aeronautics application domain.

연구 동기 및 목표

• 서브그룹 변수에서 동시에 극단적 값을 보이는 드문 고차원 극단적 사건을 군집화하고 시각화하는 데 도전하는 문제를 해결하기 위해.
• 극단적 관측치의 분포를 이상 유형에 대한 혼합으로 모델링하는 통계적 프레임워크를 개발하여, 각 유형을 잠재 변수로 간주하기 위해.
• 이상 유형의 사후 확률 기반으로 이상 간 유사도 측도를 생성함으로써 효과적인 군집화 및 2차원 시각화를 가능하게 하기 위해.
• 실제 항공기 비행 데이터와 벤치마크 UCI 데이터셋에서의 적용을 통해 방법의 유용성을 입증하고, 기존 표준 방법 대비 향상된 군집 성능을 보여주기 위해.
• 극단적 사건 간의 의존성을 이해하는 것이 핵심인 항공우주와 같은 안전이 중요한 분야에서 강력하고 해석 가능한 이상 분석 방법을 제공하기 위해.

제안 방법

• 극단적 관측치의 분포를 유한한 혼합 모델로 모델링하며, 각 성분은 동시에 극단적 값을 가질 수 있는 변수의 부분집합으로 정의되는 특정 이상 유형 α에 대응한다.
• 모델은 다변량 극값 이론(MEV)에 기반하며, 단위 구면 상에서 극단적 사건의 渐近적 의존성 구조를 기술하기 위해 각도 측도를 활용한다.
• 모든 극단적 관측치에 대해 각 이상 유형 α의 사후 확률을 추정하기 위해 기대값 최대화(EM) 알고리즘을 사용하여 잠재 변수 추론을 수행한다.
• 사후 확률에서 파생된 유사도 측도를 통해 그래프 기반 표현 및 군집화를 가능하게 한다.
• 유사도 그래프에 스펙트럼 군집화를 적용하여 군집의 2차원 시각화를 생성하며, 노드의 크기와 색상은 군집의 크기와 내부 연결성 반영한다.
• 합성 데이터 및 실제 데이터셋(82개 파라미터를 가진 18,553건의 비행 기록과 12,414개의 인스턴스를 가진 UCI 셔틀 데이터셋 포함)을 통해 방법을 검증하였다.

실험 결과

연구 질문

• RQ1 다변량 극값 이론은 어떻게 변수 하위군에서 동시에 극단적 값을 보이는 이상을 모델링하고 군집화하는 데 확장될 수 있는가?
• RQ2 잠재 이상 유형을 가진 혼합 모델은 K-means나 스펙트럼 군집화와 같은 표준 방법보다 더 해석 가능하고 효과적인 극단적 사건 군집화를 제공할 수 있는가?
• RQ3 제안된 유사도 측도는 고차원 극단적 데이터에서 이상 간 의미 있는 구조적 관계를 얼마나 잘 포착하는가?
• RQ4 실제 응용에서 결과로 도출된 2차원 시각화는 잠재 군집 구조와 이상 간 의존성을 얼마나 효과적으로 드러내는가?
• RQ5 기본 알고리즘 대비 희귀하고 극단적인 사건에서 군집 순도는 어느 정도 향상되는가?

주요 결과

• 제안된 방법은 100개의 극단적 점을 가진 UCI 셔틀 데이터셋에서 순도 점수 0.85를 기록하여 K-means(0.80) 및 스펙트럼 군집화(0.80)를 초월했다.
• 300개의 극단적 비행에 대해 이 방법은 이상을 18개의 의미 있는 군집으로 성공적으로 군집화하였으며, 스펙트럼 군집화 시각화 결과 어두운 색상의 큰 군집에서 높은 내부 연결성이 확인되었다.
• 사후 확률에서 유도된 유사도 측도는 효과적인 그래프 기반 군집화 및 2차원 시각화를 가능하게 하여 이상의 구조에 대한 해석 가능한 통찰을 제공하였다.
• 항공우주 데이터셋에서 이 방법은 건강/사용 데이터 이상과 운영 사건 간의 의존성을 드러내어 건강 지표 개발을 지원하였다.
• 혼합 모델 프레임워크는 통계적으로 타당하고 희박한 극단적 의존성 표현을 제공하였으며, 극단적 행동을 일으키는 몇몇 핵심 변수 하위군 α만을 식별하였다.
• 실험 결과는 극단적 사건의 표본 크기가 다양할 때에도 이 방법이 표준 군집 알고리즘보다 일관되게 높은 순도를 기록함을 보여주었다.