[논문 리뷰] LSCP: Locally Selective Combination in Parallel Outlier Ensembles

Yue Zhao, Zain Nasrullah외 2명|arXiv (Cornell University)|2018. 12. 04.

Cellular Automata and Applications인용 수 18

한 줄 요약

LSCP는 각 테스트 인스턴스 주변에서 랜덤 특성 부분공간 내 근접한 이웃들의 공감을 통해 국소적으로 성능이 뛰어난 기본 검출기들을 선별하고 조합하는 비지도 이상치 탐지 프레임워크를 제안한다. 이는 국소적 성능 평가와 두 번째 단계 평균화에 의한 분산 감소 덕분에 기존의 병렬 앙상블 방법보다 뛰어나며, LSCP_AOM은 20개의 실세계 데이터셋 중 13개에서 최고의 ROC-AUC, 14개에서 최고의 mAP를 기록한다.

ABSTRACT

In unsupervised outlier ensembles, the absence of ground truth makes the combination of base outlier detectors a challenging task. Specifically, existing parallel outlier ensembles lack a reliable way of selecting competent base detectors, affecting accuracy and stability, during model combination. In this paper, we propose a framework---called Locally Selective Combination in Parallel Outlier Ensembles (LSCP)---which addresses the issue by defining a local region around a test instance using the consensus of its nearest neighbors in randomly selected feature subspaces. The top-performing base detectors in this local region are selected and combined as the model's final output. Four variants of the LSCP framework are compared with seven widely used parallel frameworks. Experimental results demonstrate that one of these variants, LSCP_AOM, consistently outperforms baselines on the majority of twenty real-world datasets.

연구 동기 및 목표

• 비지도 병렬 이상치 앙상블에서 신뢰할 수 있는 기본 검출기 선별의 부족 문제를 해결하기 위해.
• 전역 평가에 의존하는 대신 데이터 국소성에 초점을 맞춰 검출기 조합을 통해 모델 정확도와 안정성을 향상시키기 위해.
• 감독 학습에서의 동적 분류기 선택(DCS) 원리를 비지도 이상치 탐지에 적용하여 인스턴스별 검출기 선별을 가능하게 하기 위해.
• 다양한 기본 검출기와 호환되며 일반화 가능하고 해석 가능하며 안정적인 프레임워크를 개발하고 실세계 데이터셋을 통해 검증하기 위해.
• 이론적 분석, 시각화 및 통계적 검증을 통해 모델의 해석 가능성 향상하기 위해.

제안 방법

• 임의로 선택된 특성 부분공간 내에서 각 테스트 인스턴스의 k개 이웃들의 공감을 이용해 국소 영역을 정의한다.
• 기본 검출기의 성능을 평가하기 위해 이 국소 영역 내에서 그들의 이상치 점수를 앙상블된 검출기로부터 유도된 가짜 지표와 비교한다.
• 국소 영역 내에서 성능이 뛰어난 기본 검출기를 점수 최대화(LSCP_M) 또는 평균화(LSCP_A)를 통해 선별한다.
• 최상의 검출기 점수를 평균화하여 두 번째 단계 조합을 적용함으로써 분산을 추가로 감소시키고 편향을 개선한다 (예: LSCP_AOM).
• 기본 검출기 점수의 평균화 또는 최대화를 통해 생성된 가짜 지표를 사용해 국소 검출기 성능을 평가한다.
• 선택 및 조합 전략이 다른 네 가지 변형(LSCP_M, LSCP_A, LSCP_MOA, LSCP_AOM)을 구현한다.

실험 결과

연구 질문

• RQ1 랜덤 부분공간 내 근접 이웃 기반 국소 검출기 선별이 비지도 앙상블에서 이상치 탐지 성능을 향상시키는가?
• RQ2 검출기 조합에서 데이터 국소성을 강조할 경우 전역 앙상블 평균화보다 더 높은 정확도와 안정성을 달성하는가?
• RQ3 LSCP_AOM의 두 번째 단계 평균화는 단일 단계 선별과 비교해 편향과 분산 감소에 얼마나 기여하는가?
• RQ4 어떤 데이터 상황에서 LSCP가 전역 평균화(GG) 방법보다 뛰어나며, 국소적 또는 산만한 이상치 패턴에 대해 어떤 영향을 미치는가?
• RQ5 LSCP 프레임워크는 다양한 기본 검출기 간에서 일반화 가능하며, 지표가 없이도 효과를 유지할 수 있는가?

주요 결과

• LSCP_AOM은 20개의 실세계 데이터셋 중 13개에서 최고의 ROC-AUC를 기록하여 뛰어난 종합 성능을 입증했다.
• LSCP_AOM은 20개 데이터셋 중 14개에서 최고의 mAP를 기록했으며, 특히 Breastw, Cardio, Satimage-2, Thyroid에서 두드러진 향상을 보였다.
• LSCP는 t-SNE 플롯을 통해 Cardio와 Thyroid에서 국소적인 이상치 클러스터를 탐지하는 데서 GG 기준 모델을 능가했다.
• Letter 데이터셋에서는 산만한 이상치가 국소 클러스터를 형성하지 않아 LSCP는 GG_M보다 성능이 열 劣했으며, 이는 이상치 분포와 국소 영역 크기에 민감함을 시사한다.
• LSCP_AOM의 두 번째 단계 평균화는 뚜렷한 성능 향상을 가져왔고, LSCP_MOA는 LSCP_A나 GG_MOA를 능가하지 못해 초반 평균화로 인한 정보 손실이 후속 평균화의 이점을 감소시킴을 시사한다.
• LSCP는 이상치가 국소 클러스터를 형성할 때 가장 효과적이며, 특히 Vowels와 Letter와 같은 낮은 이상치 비율 데이터셋에서는 작은 국소 영역 크기를 적절히 설정할 경우 성능이 최적화된다.