[논문 리뷰] A Novel Bayesian Cluster Enumeration Criterion for Unsupervised Learning.

Freweyni K. Teklehaymanot, Michael Muma외 1명|arXiv (Cornell University)|2017. 10. 22.

Bayesian Methods and Mixture Models인용 수 2

한 줄 요약

이 논문은 다소의 분포 가정 하에 사후 확률 최대화에서 유도된 새로운 베이지안 정보 기준(BIC)을 제안하여 비지도 학습에서 군집 수를 결정하는 데 특화된 것으로, 다변수 정규분포 자료에 대해 닫힌 형태의 BIC를 사용하는 모델 기반 이단계 알고리즘을 도입하여 기존 BIC보다 더 우수한 성능을 보였다. 시뮬레이션 및 실제 데이터 실험에서 검증되었다.

ABSTRACT

We derive a new Bayesian Information Criterion (BIC) from first principles by formulating the problem of estimating the number of clusters in an observed data set as maximization of the posterior probability of the candidate models. Given that some mild assumptions are satisfied, we provide a general BIC expression for a broad class of data distributions. This serves as an important milestone when deriving the BIC for specific data distributions. Along this line, we provide a closed-form BIC expression for multivariate Gaussian distributed observations. We show that incorporating data structure of the clustering problem into the derivation of the BIC results in an expression whose penalty term is different from that of the original BIC. We propose a two-step cluster enumeration algorithm. First, a model-based unsupervised learning algorithm partitions the data according to a given set of candidate models. Subsequently, the optimal cluster number is determined as the one associated to the model for which the proposed BIC is maximal. The performance of the proposed criterion is tested using synthetic and real data sets. Despite the fact that the original BIC is a generic criterion which does not include information about the specific model selection problem at hand, it has been widely used in the literature to estimate the number of clusters in an observed data set. We, therefore, consider it as a benchmark comparison. Simulation results show that our proposed criterion outperforms the existing cluster enumeration methods that are based on the original BIC.

연구 동기 및 목표

• 비지도 학습에서 모델 특화된 군집 수 결정 기준의 부족을 해결하기 위해 원칙에서 유도된 체계적인 베이지안 기준을 도출하고자 한다.
• 군집화 특화된 데이터 구조를 고려하지 않는 일반적인 원래 BIC를 개선하기 위해, 이러한 구조를 벌점 항에 통합하고자 한다.
• 다변수 정규분포 자료에 적용 가능한 닫힌 형태의 BIC 표현식을 도출하고자 한다. 이를 통해 실용적 구현이 가능하도록 하고자 한다.
• 모델 기반 군집화와 새로운 BIC를 조합한 이단계 알고리즘을 제안하여 최적의 군집 수 선택을 수행하고자 한다.
• 시뮬레이션 및 실제 데이터 세트를 활용한 실험을 통해 제안된 기준이 원래 BIC 및 기타 기존 방법과 비교하여 실증적으로 검증하고자 한다.

제안 방법

• 후보 모델의 사후 확률을 최대화하는 방식으로 군집 수 결정 문제를 베이지안 모델 선택 문제로 재정의한다.
• 일반적인 데이터 분포에 적용 가능한 약한 규칙성 가정 하에 일반적인 BIC 표현식을 유도한다.
• 일반적인 BIC를 다변수 정규분포 자료에 특화하여 적용함으로써, 군집화 구조를 반영한 수정된 벌점 항을 가진 닫힌 형태의 표현식을 도출한다.
• 이단계 알고리즘을 구현한다: 첫 번째 단계에서는 후보 모델 하에서 모델 기반 군집화 방법을 적용하여 자료를 분할하고, 두 번째 단계에서는 제안된 BIC 값이 가장 큰 모델을 선택한다.
• 제안된 BIC를 모델 선택 기준으로 사용하여 군집 문제의 본질적 구조에 민감한 방식으로 모델 복잡도를 벌점 처리한다.
• 시뮬레이션 연구를 통해 제안된 기준을 원래 BIC 기준과 비교하며, 시뮬레이션 및 실제 데이터를 활용한다.

실험 결과

연구 질문

• RQ1 군집 문제의 구조를 더 잘 반영하는 원칙에서 유도된 베이지안 군집 수 결정 기준은 어떻게 도출할 수 있는가?
• RQ2 BIC의 벌점 항에 데이터 구조를 통합함으로써 군집화의 모델 선택에 어떤 방식으로 개선이 이루어지는가?
• RQ3 제안된 BIC의 성능은 군집 수 추정에서 원래 BIC와 비교하여 어떻게 다를까?
• RQ4 제안된 이단계 알고리즘은 다양한 데이터 분포에서 진정한 군집 수를 신뢰성 있게 식별할 수 있는가?
• RQ5 새로운 BIC는 원래 BIC에 의존하는 기존 군집 수 결정 방법보다 우수한 성능을 보일 수 있는가?

주요 결과

• 제안된 BIC는 벌점 항에 데이터 구조를 통합하여 원래 BIC와는 다를 바 있는 표현식을 도출한다.
• 닫힌 형태의 BIC 표현식은 다변수 정규분포 자료에 대해 특별히 유도되었으며, 효율적인 계산을 가능하게 한다.
• 시뮬레이션 결과는 제안된 기준이 군집 수를 정확히 추정하는 데 있어 원래 BIC를 일관되게 능가함을 보여준다.
• 이단계 알고리즘은 후보 모델들 사이에서 제안된 BIC를 최대화하는 방식으로 최적의 군집 수를 효과적으로 식별한다.
• 제안된 방법은 기존의 BIC 기반 군집 수 결정 기법보다 시뮬레이션 및 실제 세계 데이터 세트에서 뛰어난 성능을 보였다.
• 원래 BIC에 비해 향상된 성능는 군집화 특화된 데이터 구조를 반영한 모델 특화된 벌점 항 덕분으로 기인한다.