[논문 리뷰] SUOD: Toward Scalable Unsupervised Outlier Detection

Yue Zhao, Xueying Ding외 2명|arXiv (Cornell University)|2020. 02. 08.

Anomaly Detection Techniques and Applications참고 문헌 6인용 수 9

한 줄 요약

SUOD는 차원 축소를 유지하면서도 거리 관계를 보존하는 무작위 투영, 작업량을 균형 있게 분배하는 병렬 스케줄링, 그리고 느린 비모수적 비지도 모델을 빠르고 해석 가능한 지도 학습 회귀모형으로 대체하는 가짜지도 근사 기법을 포함하는 확장 가능한 프레임워크이다. 30개 이상의 데이터셋에서 수행된 광범위한 실험 결과, 성능 저하를 최소화하면서도 훈련 및 예측 효율성이 크게 향상됨을 확인함.

ABSTRACT

Outlier detection is a key field of machine learning for identifying abnormal data objects. Due to the high expense of acquiring ground truth, unsupervised models are often chosen in practice. To compensate for the unstable nature of unsupervised algorithms, practitioners from high-stakes fields like finance, health, and security, prefer to build a large number of models for further combination and analysis. However, this poses scalability challenges in high-dimensional large datasets. In this study, we propose a three-module acceleration framework called SUOD to expedite the training and prediction with a large number of unsupervised detection models. SUOD's Random Projection module can generate lower subspaces for high-dimensional datasets while reserving their distance relationship. Balanced Parallel Scheduling module can forecast the training and prediction cost of models with high confidence---so the task scheduler could assign nearly equal amount of taskload among workers for efficient parallelization. SUOD also comes with a Pseudo-supervised Approximation module, which can approximate fitted unsupervised models by lower time complexity supervised regressors for fast prediction on unseen data. It may be considered as an unsupervised model knowledge distillation process. Notably, all three modules are independent with great flexibility to "mix and match"; a combination of modules can be chosen based on use cases. Extensive experiments on more than 30 benchmark datasets have shown the efficacy of SUOD, and a comprehensive future development plan is also presented.

연구 동기 및 목표

• 고차원, 대규모 데이터셋에서 비지도 이상 탐지기의 대규모 앙상블 학습 및 예측의 확장성 문제를 해결하기 위해.
• 이종 모델 간의 불균형한 작업 분배로 인한 기존 병렬 처리의 비효율성을 극복하기 위해.
• 느린 비모수적 비지도 모델의 예측 속도와 해석 가능성 향상을 위해 탐지 성능을 희생시키지 않기 위해.
• 다양한 배포 요구사항에 맞게 가속 기법을 독립적 또는 조합적으로 사용할 수 있는 유연하고 모듈화된 프레임워크를 제공하기 위해.
• 의료, 금융, 보안 등 신뢰성 있고 빠르며 해석 가능한 이상 탐지가 필수적인 고위험 분야에서의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 무작위 투영 모듈은 토플리츠 기반 존슨-린든스트라우스 변환을 사용하여 고차원 데이터를 저차원 부분공간으로 투영함으로써 상호 거리 관계를 유지하고 차원의 저주 문제를 완화함.
• 균형 잡힌 병렬 스케줄링 모듈은 개별 모델의 훈련 및 예측 비용을 예측하여 여러 워커 간에 작업량을 균형 있게 분배함으로써 시스템 병목 현상을 최소화함.
• 가짜지도 근사 모듈은 비지도 모델이 생성한 이상도 점수를 가짜 정답으로 간주하여, 빠르고 해석 가능한 지도 학습 회귀모형(예: 트리 기반 모델)을 훈련함으로써 지식 전이를 구현함.
• 모든 세 모듈은 상호 독립적이며 조합 가능하도록 설계되어 사용자 요구사항과 성능 기준에 따라 유연하게 조합 가능함.
• 파이썬 툴킷을 통해 엔드 투 엔드 배포를 지원하며, 사전 구축된 모델 비용 예측기와 기존 이상 탐지 파이프라인에의 확장 가능한 인터페이스를 제공함.

실험 결과

연구 질문

• RQ1 고차원 데이터에서 접근 기반 이상 탐지에 필수적인 거리 관계를 유지하면서도 무작위 투영이 효과적으로 차원을 축소할 수 있는가?
• RQ2 작업량 예측 및 동적 스케줄링이 이종 비지도 이상 탐지 파이프라인에서 병렬 처리 효율성을 크게 향상시킬 수 있는가?
• RQ3 비지도 모델의 가짜 레이블에서 유도된 지도 학습 회귀모형이 극적으로 감소된 추론 시간으로도 유사한 성능을 달성할 수 있는가?
• RQ4 세 모듈의 조합이 다양한 실세계 데이터셋에서 확장성, 성능, 해석 가능성에 어떤 영향을 미치는가?
• RQ5 가짜지도 근사 기법은 어떤 조건에서 가장 잘 작동하며, 다양한 종류의 비지도 모델에 일반화될 수 있는가?

주요 결과

• 30개 이상의 벤치마크 데이터셋에서 SUOD는 이상 탐지 성능을 유지하거나 약간 향상시키면서도 예측 시간을 최대 90%까지 단축함. 특히 LOF, KNN와 같은 접근 기반 모델에서 두드러진 성능 향상 관찰.
• 가짜지도 근사 모듈은 평균적으로 원래 비지도 모델의 ROC 점수와 5% 이내로 유사한 성능를 기록함. 일부 모델(예: Annthyroid에서의 LOF)은 성능 향상도 기록함(예: AUC 0.74 → 0.85).
• 균형 잡힌 병렬 스케줄링은 scikit-learn의 단순 작업 할당 방식 대비 시스템의 비활성 시간을 40% 이상 감소시켜 분산 환경에서의 처리량을 크게 향상시킴.
• 무작위 투영 모듈은 중요한 거리 관계를 유지하여, 10~20차원의 부분공간에서도 효과적인 이상 탐지가 가능했으며 성능 저하가 최소한이었음.
• 표현력 있는 일반화 능력을 보이며, 테이블형(예: Pima, Breastw), 이미지(MNIST), 네트워크(HTTP) 데이터셋 등 다양한 데이터 유형에서 일관된 속도 향상과 안정적인 성능 유지.
• 가짜지도 근사 기법은 모델의 해석 가능성 향상에 기여하여 트리 기반 회귀모형을 통한 특성 기여도 분석이 가능해졌으며, 이는 비모수적 비지도 모델에서 원천적으로 제공되지 않았던 기능임.