[논문 리뷰] Model-Based Clustering Using Mixtures of Coalesced Generalized Hyperbolic Distributions

Cristina Tortora, Brian C. Franczak외 2명|arXiv (Cornell University)|2014. 03. 10.

Bayesian Methods and Mixture Models참고 문헌 59인용 수 1

한 줄 요약

이 논문은 다차원 가중치 함수를 통해 여러 스케일링된 일반화된 하이퍼볼릭 분포(GHDs)를 조합함으로써, 비대칭이고 꼬리가 두꺼운 데이터의 유연한 군집화를 가능하게 하는 새로운 혼합 분포를 제안한다. 매개수 추정을 위해 MM 알고리즘을 사용하고, 모델 선택을 위해 BIC를 적용함으로써, 시뮬레이션 및 실세계 데이터셋에서 유한한 비대칭-t 분포 혼합 모델보다 군집 정확도가 뛰어나다.

ABSTRACT

Mixtures of coalesced generalized hyperbolic distributions (GHDs) are developed by merging the existing finite mixtures of generalized hyperbolic distributions with a novel mixture of multiple scaled generalized hyperbolic distributions (MSGHDs). Our mixture of coalesced GHDs are a special case of a more general mixture of mixtures, specifically they share model parameters and have a common mode. Herein we detail the development of the mixtures of MSGHDs who arise via the implementation of a multi-dimensional weight function, and derive the density of our coalesced distribution. A parameter estimation scheme is developed using the ever-expanding class of MM algorithms and the Bayesian information criterion (BIC) is used for model selection. We use our mixture of coalesced GHDs for clustering and compare them to finite mixtures of skew-t distributions using simulated and real data sets.

연구 동기 및 목표

• 비대칭적이고 꼬리가 두꺼운 데이터의 군집화를 위해 여러 스케일링된 일반화된 하이퍼볼릭 분포를 조합함으로써, 민감도가 높은 유한한 혼합 모델을 개발하는 것.
• 기존의 유한한 GHD 혼합 모델의 한계를 해결하기 위해, 모델 매개수를 공유하고 공통 모드를 갖는 공통화 구조(coalesced structure)를 도입하는 것.
• 구성 요소 분포 간의 매개수 공유를 가능하게 하는 새로운 다차원 가중치 함수를 통해 군집 성능을 향상시키는 것.
• MM 알고리즘 클래스를 활용한 강력한 매개수 추정 프레임워크와 베이지안 정보 기준(BIC)을 통한 모델 선택을 제공하는 것.

제안 방법

• 다차원 가중치 함수를 사용하여 여러 스케일링된 일반화된 하이퍼볼릭 분포(MSGHDs)의 혼합을 구성함으로써, 매개수 공유와 모드 공통화를 유도하는 것.
• 결과로 도출된 공통화된 일반화된 하이퍼볼릭 분포의 밀도 함수 해석적 형태를 혼합의 혼합 특수 케이스로 유도하는 것.
• 수렴성과 수치적 안정성을 보장하는 반복적 매개수 추정을 위한 MM(Majorization-Minimization) 알고리즘을 구현하는 것.
• 군집 프레임워크 내에서 최적의 구성 요소 수와 모델 구조를 선택하기 위해 베이지안 정보 기준(BIC)을 적용하는 것.
• 시뮬레이션 및 실세계 데이터 분석을 위한 모델 기반 군집 프레임워크에 공통화된 GHD 혼합 모델을 통합하는 것.
• 모델이 구성 요소 간에 공통 모드를 유지함으로써, 고차원 설정에서의 해석 가능성 향상과 과적합 감소를 보장하는 것.

실험 결과

연구 질문

• RQ1 비대칭적이고 꼬리가 두꺼운 데이터에 대해 기존의 유한한 혼합 모델과 비교해 공통화된 일반화된 하이퍼볼릭 분포 혼합 모델이 군집 성능을 향상시킬 수 있는가?
• RQ2 MSGHDs에서 다차원 가중치 함수의 사용이 군집 맥락에서 매개수 공유와 모델 식별성에 어떤 영향을 미치는가?
• RQ3 제안된 모델이 군집 정확도와 모델 적합도 측면에서 기존의 유한한 비대칭-t 분포 혼합 모델보다 어느 정도 뛰어나게 되는가?
• RQ4 MM 알고리즘이 복잡하거나 고차원 데이터 설정에서 공통화된 GHD 혼합 모델의 매개수 추정에 얼마나 효과적인가?
• RQ5 BIC 기반의 모델 선택 전략이 공통화된 GHD 혼합 모델 프레임워크에서 최적의 구성 요소 수를 신뢰성 있게 식별할 수 있는가?

주요 결과

• 제안된 공통화된 GHD 혼합 모델은 시뮬레이션 및 실세계 데이터셋 모두에서 기존의 유한한 비대칭-t 분포 혼합 모델보다 뛰어난 군집 성능을 달성한다.
• 다차원 가중치 함수의 사용은 효과적인 매개수 공유와 모드 공통화를 가능하게 하여, 더 간결하고 안정적인 모델 구조를 제공한다.
• MM 알고리즘은 복잡하거나 고차원 데이터 시나리오에서도 신뢰할 수 있고 수렴하는 매개수 추정을 보장한다.
• BIC 기반의 모델 선택 절차는 혼합 모델 내에서 최적의 구성 요소 수를 성공적으로 식별하여 과적합을 감소시킨다.
• 공통화된 GHD 모델은 비대칭성과 꼬리가 두꺼운 성질에 대해 강력한 내성 보존성을 보이며, 군집 정확도 지표에서 경쟁 모델들을 능가한다.
• 공통화된 분포의 밀도 함수를 유도함으로써, 모델 기반 군집 분석 분야의 향후 확장에 이론적으로 탄탄한 기반을 제공한다.