[논문 리뷰] RCC-Dual-GAN: An Efficient Approach for Outlier Detection with Few Identified Anomalies

Zhe Li, Chunhua Sun외 4명|arXiv (Cornell University)|2020. 03. 07.

Anomaly Detection Techniques and Applications참고 문헌 42인용 수 4

한 줄 요약

이 논문은 소수의 확인된 이상치를 활용하여 이산적 이상치와 군집 이상치를 효율적으로 탐지할 수 있는 준지도 이상치 탐지 방법인 RCC-Dual-GAN을 제안한다. 강력한 연속 클러스터링(RCC)과 수정된 GAN 아키텍처(M-GAN)를 통합함으로써, 특히 저라벨 환경에서 기존 GAN 기반 기준 모델 대비 탐지 정확도와 안정성을 향상시킨다. 실제 데이터셋인 신용카드 사기 탐지 및 네트워크 침입 탐지 작업에서 준지도 및 무지도 기반 기준 모델을 모두 능가한다.

ABSTRACT

Outlier detection is an important task in data mining and many technologies have been explored in various applications. However, due to the default assumption that outliers are non-concentrated, unsupervised outlier detection may not correctly detect group anomalies with higher density levels. As for the supervised outlier detection, although high detection rates and optimal parameters can usually be achieved, obtaining sufficient and correct labels is a time-consuming task. To address these issues, we focus on semi-supervised outlier detection with few identified anomalies, in the hope of using limited labels to achieve high detection accuracy. First, we propose a novel detection model Dual-GAN, which can directly utilize the potential information in identified anomalies to detect discrete outliers and partially identified group anomalies simultaneously. And then, considering the instances with similar output values may not all be similar in a complex data structure, we replace the two MO-GAN components in Dual-GAN with the combination of RCC and M-GAN (RCC-Dual-GAN). In addition, to deal with the evaluation of Nash equilibrium and the selection of optimal model, two evaluation indicators are created and introduced into the two models to make the detection process more intelligent. Extensive experiments on both benchmark datasets and two practical tasks demonstrate that our proposed approaches (i.e., Dual-GAN and RCC-Dual-GAN) can significantly improve the accuracy of outlier detection even with only a few identified anomalies. Moreover, compared with the two MO-GAN components in Dual-GAN, the network structure combining RCC and M-GAN has greater stability in various situations.

연구 동기 및 목표

• 밀도 높은 군집 이상치를 탐지하는 데에 한계가 있는 무지도 이상치 탐지 기법의 문제를 해결하기 위해.
• 감지 비용이 높은 지도 학습 기법의 문제를 해결하기 위해 소수의 확인된 이상치만을 활용하기 위해.
• 비용이 많이 드는 이웃 또는 유사도 계산을 거치지 않고도 확인된 이상치에서 잠재 정보를 직접 활용할 수 있는 일괄 처리 준지도 방법을 개발하기 위해.
• 새로운 RCC-M-GAN 통합을 통해 복잡한 데이터 구조에서 모델의 안정성과 탐지 정확도를 향상시키기 위해.
• 학습 중에 나시 균형(Nash equilibrium)과 모델 선택을 평가하기 위한 지능형 평가 지표(NNR 및 AP)를 도입하기 위해.

제안 방법

• 확인된 이상치를 직접 활용하여 이산적 이상치와 부분적으로 확인된 군집 이상치를 탐지할 수 있는 일괄 처리 준지도 모델인 Dual-GAN을 제안한다.
• Dual-GAN의 두 MO-GAN 구성 요소를 강력한 연속 클러스터링(RCC)과 M-GAN의 조합으로 대체함으로써, 복잡한 데이터 구조에서의 안정성을 향상시킨다.
• 학습 중에 나시 균형 평가 및 모델 선택을 도와주는 두 가지 평가 지표인 NNR(최근접 이웃 비율)와 AP(평균 정밀도)를 도입한다.
• 확인된 이상치를 기준점으로 삼아 기준 분포를 구성함으로써, 더 강력한 소수의 클래스 증강을 가능하게 한다.
• 정상 데이터에 초점을 맞춘 디스커리미네이터와 이상치에 초점을 맞춘 디스커리미네이터를 갖춘 이중 디스커리미네이터 생성자 프레임워크를 활용하여 탐지 민감도를 향상시킨다.
• 조정된 NSL-KDD 및 신용카드 데이터셋을 사용하여 실제 응용 분야인 신용카드 사기 탐지 및 네트워크 침입 탐지에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 소수의 확인된 이상치만을 사용하여 준지도 이상치 탐지 모델이 높은 정확도를 달성할 수 있는가?
• RQ2 명시적인 유사도 또는 이웃 계산 없이 확인된 이상치를 효과적으로 활용하여 이산적 이상치와 군집 이상치를 탐지할 수 있는가?
• RQ3 RCC를 M-GAN과 통합하면 표준 MO-GAN 구성 요소에 비해 모델의 안정성과 탐지 성능을 향상시킬 수 있는가?
• RQ4 NNR 및 AP는 GAN 기반 이상치 탐지에서 모델 선택 및 나시 균형 평가에 신뢰할 수 있는 지표가 될 수 있는가?
• RQ5 제안된 방법은 제한된 레이블된 이상치를 가진 실제 응용 분야인 신용카드 사기 탐지 및 네트워크 침입 탐지에서 어떻게 성능을 발휘하는가?

주요 결과

• RCC-Dual-GAN은 신용카드 및 NSL-KDD 데이터셋에서 모두 가장 높은 탐지 정확도를 기록했으며, 무지도 및 지도 학습 기준 모델을 모두 능가했다.
• 신용카드 데이터셋에서 RCC-Dual-GAN과 Dual-GAN은 총 사기 건수의 0.1%에 해당하는 33건의 확인된 사기 사례만으로도 탐지 성능을 크게 향상시켰다.
• 지도 학습 기반 Sup-GAN은 무지도 기반 k-NN 및 LOF보다 성능이 열 劣하므로, 단일 GAN이 동시에 여러 이상 유형의 생성 메커니즘을 학습하는 데 어려움을 겪는다.
• Sup-RCC-GAN은 최적의 성능을 내지 못했으며, 이상 유형이 다양할 경우 소수의 확인된 이상치로만 지도 학습을 수행하는 것은 일반화 능력이 떨어질 수 있음을 시사한다.
• 원래의 MO-GAN 구성 요소를 사용한 Dual-GAN에 비해 RCC-Dual-GAN은 다양한 데이터 분포와 이상 유형에서 더 높은 안정성을 보였다.
• NNR 및 AP 지표의 사용은 더 신뢰할 수 있는 모델 선택과 수렴 향상을 가능하게 하여 탐지 과정의 강건성을 향상시켰다.