[논문 리뷰] Finite Mixtures of Canonical Fundamental Skew t-Distributions

Sharon Lee, Geoffrey J. McLachlan|arXiv (Cornell University)|2014. 05. 04.

Bayesian Methods and Mixture Models참고 문헌 1인용 수 5

한 줄 요약

이 논문은 제한된 다변수 비대칭 t 분포(rMST)와 비제한된 다변수 비대칭 t 분포(uMST) 모델을 통합하는 유한 혼합 캐논컬 기본 비대칭 t(FM-CFUST) 분포를 제안한다. 이는 폐쇄형 절단된 모멘트를 통해 정확한 EM 알고리즘 구현을 가능하게 한다. 주요 기여는 E단계에서 이전에 구하기 어려웠던 조건부 기대값에 대한 새로운 해석적 표현을 도출한 것으로, 몬테카를로 근사 없이 비대칭적이고 꼬리가 무거운 데이터의 더 빠르고 정확한 군집화를 가능하게 한다.

ABSTRACT

This is an extended version of the paper Lee and McLachlan (2014b) with simulations and applications added. This paper introduces a finite mixture of canonical fundamental skew t (CFUST) distributions for a model-based approach to clustering where the clusters are asymmetric and possibly long-tailed (Lee and McLachlan, 2014b). The family of CFUST distributions includes the restricted multivariate skew t (rMST) and unrestricted multivariate skew t (uMST) distributions as special cases. In recent years, a few versions of the multivariate skew t (MST) model have been put forward, together with various EM-type algorithms for parameter estimation. These formulations adopted either a restricted or unrestricted characterization for their MST densities. In this paper, we examine a natural generalization of these developments, employing the CFUST distribution as the parametric family for the component distributions, and point out that the restricted and unrestricted characterizations can be unified under this general formulation. We show that an exact implementation of the EM algorithm can be achieved for the CFUST distribution and mixtures of this distribution, and present some new analytical results for a conditional expectation involved in the E-step.

연구 동기 및 목표

• 모델 기반 군집화를 위해 제한된 다변수 비대칭 t(rMST) 및 비제한된 다변수 비대칭 t(uMST) 모델을 하나의 파arametric 가족으로 통합하기.
• 유한 혼합 캐논컬 기본 비대칭 t(FM-CFUST) 분포를 위한 정확한 EM 알고리즘을 개발하여 계산 비용이 높은 근사 방법을 피하기.
• 이전에 수치적 또는 몬테카를로 방법에 의존했던 E단계의 핵심 조건부 기대값에 대한 새로운 폐쇄형 표현을 유도하기.
• 매개변수 추정 또는 BIC를 통해 rMST, uMST, CFUST 간의 데이터 기반 모델 선택을 가능하게 하기.
• 모의 및 실제 데이터에서 비대칭적이고 꼬리가 두꺼운 데이터에 대해 뛰어난 군집 성능을 보여주기.

제안 방법

• 비대칭성은 일반적인 p×q 행렬 ∆로 제어되는 기본 비대칭 t 분포의 위치-스케일 변형으로서 CFUST 분포를 정의한다.
• 스케일로 감마분포를 사용하고 다변량 정규분포 성분을 포함하는 복합형 확률적 표현을 사용하며, 비대칭성은 q차원 t분포를 통해 유도한다.
• Ho 등(2012)과 Lee & McLachlan(2014a)의 연구를 바탕으로 절단된 모멘트를 사용해 정확한 E단계 계산을 수행하는 EM 알고리즘을 적용한다.
• 로그 함수의 무한급수 표현을 활용해 조건부 기대값 e(k)_1hj에 대한 새로운 폐쇄형 표현을 도출한다.
• uMST 모델에서 약간 수정된 M단계를 사용하여 일반적인 CFUST 표현식을 수용한다.
• 모델 선택 및 성능 평가에 BIC와 군집 정확도(MCR, ARI)를 활용한다.

실험 결과

연구 질문

• RQ1 rMST 및 uMST 모델을 특수 케이스로 포함하는 통합된 파arametric 가족을 개발할 수 있는가?
• RQ2 몬테카를로 근사에 의존하지 않고, 유한 혼합 CFUST 분포에 대한 정확한 EM 알고리즘을 구현할 수 있는가?
• RQ3 E단계 조건부 기대값에 대한 새로운 해석적 표현이 계산 속도와 추정 정확도를 향상시키는가?
• RQ4 FM-CFUST 모델은 실제 및 모의 비대칭적이고 꼬리가 두꺼운 데이터 군집화에서 rMST 및 uMST 모델보다 나은가?
• RQ5 매개변수 추정 또는 BIC를 통해 rMST, uMST, CFUST 간의 데이터 기반 모델 선택을 효과적으로 수행할 수 있는가?

주요 결과

• AIS 데이터셋에서 FM-CFUST 모델은 가장 낮은 오분류율(MCR = 0.0149)과 가장 높은 조정된 Rand 지수(ARI = 0.941)를 기록하여 rMST 및 uMST 모델을 모두 능가했다.
• DLBCL 데이터셋에서 제약이 없는 ∆를 가진 FM-CFUST 모델은 오분류율(MCR = 0.0575)이 높고 ARI(0.8387)가 낮아, 가장 우수한 성능을 보인 FM-uMST 모델보다 열등했다.
• DLBCL 데이터에서 FM-uMST 모델은 높은 로그우도(-59434.31)와 낮은 BIC(119200.7)를 기록하여, 제약이 없는 ∆를 가진 FM-CFUST 모델보다 더 좋은 피팅을 보였다.
• DLBCL 데이터에서 대각행렬 ∆h를 가진 FM-CFUST 모델은 전체 CFUST 모델보다 더 나은 성능을 보였으며, 이는 데이터가 이를 지지할 경우 더 단순한 구조가 선호될 수 있음을 시사한다.
• e(k)_1hj에 대한 새로운 해석적 표현 덕분에 정확한 폐쇄형 E단계 계산이 가능해졌고, 이는 이전 연구(예: Lin, 2010)에서 사용된 수치 근사 방법의 필요성을 제거했다.
• 모의 데이터에서 FM-CFUST 모델은 rMST 및 uMST 모델이 어려워하는 복잡한 비대칭성과 꼬리가 두꺼운 행동을 성공적으로 포착했다.