[논문 리뷰] Outlier Detection on Mixed-Type Data: An Energy-based Approach

Kien Do, Truyen Tran외 2명|arXiv (Cornell University)|2016. 08. 17.

Anomaly Detection Techniques and Applications참고 문헌 19인용 수 5

한 줄 요약

이 논문은 연속형, 이진형, 카운트형, 명목형 속성을 모두 포함하는 혼합형 데이터를 위한 새로운 비지도 이상치 탐지 방법을 제안한다. 이 방법은 확장된 혼합형 제한 볼츠만 기계(Mv.RBM)에서 유도된 자유 에너지(free-energy)를 사용하며, Mv.RBM의 효율적인 밀도 추정 기능을 활용하여 최신 기술 수준의 성능을 달성한다. 자유 에너지는 상수항을 제외하고는 음의 로그 밀도와 동일하므로 원칙적인 이상치 점수로 기능하며, 실제 데이터셋에서 단일 유형 및 혼합형 기준선보다 뛰어난 성능을 보인다.

ABSTRACT

Outlier detection amounts to finding data points that differ significantly from the norm. Classic outlier detection methods are largely designed for single data type such as continuous or discrete. However, real world data is increasingly heterogeneous, where a data point can have both discrete and continuous attributes. Handling mixed-type data in a disciplined way remains a great challenge. In this paper, we propose a new unsupervised outlier detection method for mixed-type data based on Mixed-variate Restricted Boltzmann Machine (Mv.RBM). The Mv.RBM is a principled probabilistic method that models data density. We propose to use \emph{free-energy} derived from Mv.RBM as outlier score to detect outliers as those data points lying in low density regions. The method is fast to learn and compute, is scalable to massive datasets. At the same time, the outlier score is identical to data negative log-density up-to an additive constant. We evaluate the proposed method on synthetic and real-world datasets and demonstrate that (a) a proper handling mixed-types is necessary in outlier detection, and (b) free-energy of Mv.RBM is a powerful and efficient outlier scoring method, which is highly competitive against state-of-the-arts.

연구 동기 및 목표

• 연속형, 이진형, 카운트형, 명목형 변수를 포함한 이질적 데이터에서 이상치를 탐지하는 문제에 대응하기 위해.
• 히우리적 가정이나 데이터 인코딩 없이 다양한 데이터 유형 간의 상관관계를 모델링할 수 있는 확장 가능하고 원칙적인 방법을 개발하기 위해.
• 혼합형 데이터 유형의 적절한 처리가 효과적인 이상치 탐지에 필수적임을 입증하기 위해, 변환된 데이터에 단일 유형 방법을 적용하는 것과의 대비를 통해.
• 최신 기술 수준의 기준선과의 비교를 통해 제안된 방법이 정확성과 효율성 면에서 뛰어나다는 것을 보여주기 위해.

제안 방법

• 모델은 Mv.RBM을 확장하여 카운트형 속성을 포아송 분포를 사용해 모델링함으로써 다양한 데이터 유형을 동시에 다룰 수 있도록 한다.
• 자유 에너지를 이상치 점수로 사용하며, 이는 상수항을 제외하고 음의 로그 밀도와 수학적으로 동일하므로 원칙적인 밀도 기반 이상치 탐지가 가능하다.
• 대규모 데이터셋에 적합하게, 적응형 학습률(대규모 데이터셋에서는 Adam)을 사용한 확률적 경사 하강법을 통해 Mv.RBM을 학습시켜 효율적이고 확장 가능한 학습을 실현한다.
• 자유 에너지는 단일 행렬 투영을 통해 효율적으로 계산되므로 추론 속도가 매우 빠르며 실시간 응용에 적합하다.
• 직접적인 이종 유형 간의 종속성 모델링을 피하기 위해 이진 잠재 변수를 통해 다양한 유형 간의 상관관계를 포착한다.
• 이상치 탐지는 자유 에너지 값에 기반해 인스턴스를 순위 매김함으로써 수행되며, 낮은 값은 낮은 데이터 밀도를 의미하고 따라서 이상치 가능성은 높아진다.

실험 결과

연구 질문

• RQ1 데이터 유형 변환이나 히우리적 거리 조합을 사용하지 않고도 통합적이고 확률적인 모델이 이질적 데이터를 효과적으로 다룰 수 있는가?
• RQ2 Mv.RBM의 자유 에너지를 이상치 점수로 사용할 경우, 기존의 밀도 기반 또는 거리 기반 방법보다 더 정확하고 확장 가능한 대안이 될 수 있는가?
• RQ3 효율적인 이상치 탐지를 위해 혼합형 데이터 유형을 적절히 모델링하는 것이 필수적인가, 아니면 변환된 데이터에 단일 유형 방법을 적용하는 것으로 충분한가?
• RQ4 최신 기술 수준의 혼합형 이상치 탐지 기법과 비교했을 때, 제안된 방법의 성능 및 확장성은 어떠한가?

주요 결과

• 제안된 Mv.RBM 기반 방법은 일곱 개인 혼합형 데이터셋에서 평균 F-점수 0.91을 기록하며, 이는 다음으로 우수한 방법(BMM)보다 평균 8.3% 높은 성능을 보였다.
• KDD99-10 데이터셋에서 AUC가 0.914를 기록하여 자유 에너지 분포에서 내재자와 이상치 간의 강력한 분리가 가능함을 입증했다.
• 가장 큰 데이터셋인 KDD99-10에서 최고의 단일 유형 기준선(PPCA)보다 29.1% 향상되어 확장성과 효과성 모두 뛰어난 성능을 보였다.
• 단일 유형 방법의 평균 F-점수는 0.66이었고, 혼합형 방법의 평균은 0.77이었으며, 이는 높은 성능을 위해서는 혼합형 유형의 적절한 처리가 필수적임을 보여준다.
• Mv.RBM 모델은 Auto MPG 및 KDD99-10 데이터셋에서 완벽한 F-점수(1.00)를 기록하여 다양한 데이터 유형에 대한 강력한 일반화 능력을 보였다.
• 제안된 방법은 매우 확장 가능하며, 확률적 경사 하강법과 행렬 투영을 통해 학습 및 추론이 효율적으로 처리되어 대규모 데이터셋에서도 활용 가능하다.