[논문 리뷰] Anomaly detection using data depth: multivariate case

Pavlo Mozharovskyi, Valla, Romain|arXiv (Cornell University)|2022. 10. 06.

Advanced Statistical Methods and Models인용 수 4

한 줄 요약

이 논문은 다변량 이상 탐지에 대해 강건하고 애핀 불변인 방법으로 데이터 깊이를 제안하며, 낮은 깊이 값을 가진 점들에 이상치를 할당한다. 근사 깊이 계산, 특히 정교화된 랜덤 서치와 같은 최적화된 샘플링을 통해 고차원 데이터(최대 d=50)에서도 효율적이고 확장 가능한 탐지가 가능하며, 이는 이상 포레스트나 오토에인코더와 같은 최첨단 방법과 비교해 강력한 성능을 보인다.

ABSTRACT

Anomaly detection is a branch of data analysis and machine learning which aims at identifying observations that exhibit abnormal behaviour. Be it measurement errors, disease development, severe weather, production quality default(s) (items) or failed equipment, financial frauds or crisis events, their on-time identification, isolation and explanation constitute an important task in almost any branch of science and industry. By providing a robust ordering, data depth - statistical function that measures belongingness of any point of the space to a data set - becomes a particularly useful tool for detection of anomalies. Already known for its theoretical properties, data depth has undergone substantial computational developments in the last decade and particularly recent years, which has made it applicable for contemporary-sized problems of data analysis and machine learning. In this article, data depth is studied as an efficient anomaly detection tool, assigning abnormality labels to observations with lower depth values, in a multivariate setting. Practical questions of necessity and reasonability of invariances and shape of the depth function, its robustness and computational complexity, choice of the threshold are discussed. Illustrations include use-cases that underline advantageous behaviour of data depth in various settings.

연구 동기 및 목표

• 산업 및 과학적 응용 분야에서 다변량 이상 탐지에 있어 데이터 깊이를 실용적인 도구로 정립하기 위해.
• 고차원 및 대규모 데이터 환경에서 데이터 깊이의 계산적 과제를 해결하기 위해.
• 근사 정확도, 계산 효율성, 탐지 성능 사이의 상호 교환 관계를 평가하기 위해.
• 오토에인코더, 일변도 SVM, 이상 포레스트와 같은 기존 방법들과의 비교를 통해 데이터 깊이 기반 이상 탐지의 성능을 평가하기 위해.
• 샘플링 및 근사 알고리즘의 영향이 탐지 품질과 런타임에 어떻게 작용하는지 조사하기 위해.

제안 방법

• 비모수적 중심성 측도로 데이터 깊이를 사용하며, 더 이상한 점일수록 낮은 깊이 값을 갖도록 한다.
• 강건성과 애핀 불변성을 핵심 성질로 하는 프로젝션 깊이와 하프스페이스 깊이를 핵심 깊이 함수로 활용한다.
• 고차원에서의 계산 비용을 줄이기 위해 무작위 서치(RS)와 정교화된 무작위 서치(RRS)를 통한 근사 계산을 적용한다.
• 순수한 랜덤 방법보다 수렴성 향상과 분산 감소를 위해 깊이 근사에 Nelder-Mead 최적화를 활용한다.
• 메모리 및 계산 부담을 줄이면서도 탐지 품질을 유지하기 위해 학습 데이터의 부분 샘플링을 구현한다.
• 합성 데이터에서 5% 이상치를 포함한 50회의 반복을 통해 식 (16)에 정의된 이상 탐지 품질 측도를 평가한다.

실험 결과

연구 질문

• RQ1 이상 포레스트나 일변도 SVM과 같은 기존 방법들과 비교해, 데이터 깊이 기반 이상 탐지의 다변량 환경에서의 성능은 어떠한가?
• RQ2 근사 방법(예: RS 대 RRS)이 고차원 데이터에서 탐지 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ3 학습 세트의 샘플링이 계산 비용을 줄이면서도 탐지 품질에 어떤 영향을 미치는가?
• RQ4 실제 비타원형 분포를 띠는 데이터에서 데이터 깊이는 얼마나 강건성과 애핀 불변성을 유지하는가?
• RQ5 데이터 깊이는 이상 탐지에서 설명 가능성을 제공할 수 있으며, 오토에인코더와 같은 블랙박스 모델과 비교해 어떤가?

주요 결과

• 데이터 깊이 기반 이상 탐지가 복잡한 비타원형 분포를 띠는 데이터에서도 이상 포레스트나 일변도 SVM과 비교해 뛰어난 성능을 보였다.
• 200개의 방향에서 RRS 근사를 사용할 경우, 단일 코어 Apple M1 Max 칩에서 d=10에서 1,000개 점의 깊이를 20초 이내에 계산할 수 있었으며, 이는 높은 계산 효율성을 보여준다.
• 순수한 랜덤 서치(RS)는 차원의 저주에 노출되어 d=10에서 5,000개의 방향에 대해 계산 시간이 500초로 증가하지만, RRS는 더 나은 확장성을 유지한다.
• d=20에서 학습 세트의 샘플링은 탐지 품질을 급격히 떨어뜨리지 않고 점진적으로 떨어뜨리므로, 속도와 정확도 사이의 타당한 트레이드오프를 제공한다.
• d=50에서 거리 공간 상에서 이상치가 식별되지 않지만, 데이터 깊이를 통해 여전히 효과적인 탐지가 가능함을 보여주며, 고차원 이상치 분리에 있어 그 유용성을 입증한다.
• 깊이 근사에 Nelder-Mead 최적화를 적용함으로써, 특히 고차원에서 랜덤 서치보다 성능 향상이 뚜렷했으며, 분산 감소와 수렴성 향상에 기여했다.