[논문 리뷰] EMMIX-uskew: An R Package for Fitting Mixtures of Multivariate Skew t-distributions via the EM Algorithm

Sharon Lee, Geoffrey J. McLachlan|arXiv (Cornell University)|2012. 11. 22.

Bayesian Methods and Mixture Models참고 문헌 29인용 수 14

한 줄 요약

이 논문은 유한 혼합모형의 제한 없는 다변량 비대칭 스튜던트의 t-분포를 담고 있는 R 패키지 EMMIX-uskew를 소개한다. 이 패키지는 폐쇄형 EM 알고리즘을 사용하여 모수 추정, 2차원/3차원 밀도 등고선 시각화, 임의의 표본 추출을 가능하게 하며, 기존의 제약 조건이 있는 모델들과 비교하여 실제 플로우 세포 측정 및 AIS 데이터셋에서 더 뛰어난 군집화 성능을 보여준다.

ABSTRACT

This paper describes an algorithm for fitting finite mixtures of unrestricted Multivariate Skew t (FM-uMST) distributions. The package EMMIX-uskew implements a closed-form expectation-maximization (EM) algorithm for computing the maximum likelihood (ML) estimates of the parameters for the (unrestricted) FM-MST model in R. EMMIX-uskew also supports visualization of fitted contours in two and three dimensions, and random sample generation from a specified FM-uMST distribution. Finite mixtures of skew t-distributions have proven to be useful in modelling heterogeneous data with asymmetric and heavy tail behaviour, for example, datasets from flow cytometry. In recent years, various versions of mixtures with multivariate skew t (MST) distributions have been proposed. However, these models adopted some restricted characterizations of the component MST distributions so that the E-step of the EM algorithm can be evaluated in closed form. This paper focuses on mixtures with unrestricted MST components, and describes an iterative algorithm for the computation of the ML estimates of its model parameters. The usefulness of the proposed algorithm is demonstrated in three applications to real data sets. The first example illustrates the use of the main function fmmst in the package by fitting a MST distribution to a bivariate unimodal flow cytometric sample. The second example fits a mixture of MST distributions to the Australian Institute of Sport (AIS) data, and demonstrate that EMMIX-uskew can provide better clustering results than mixtures with restricted MST components. In the third example, EMMIX-uskew is applied to classify cells in a trivariate flow cytometric dataset. Comparisons with other available methods suggests that the EMMIX-uskew result achieved a lower misclassification rate with respect to the labels given by benchmark gating analysis.

연구 동기 및 목표

• 폐쇄형 EM 알고리즘을 사용하여 제한 없는 다변량 비대칭 스튜던트의 t-분포 혼합모형(FM-uMST)을 피팅하는 방법을 개발한다.
• 기존 모델에서 성분의 비대칭 스튜던트의 t-분포에 제약을 두어 분석적 E단계 계산을 가능하게 하는 한계를 해결한다.
• 이질적이고 비대칭적이며 꼬리가 무거운 데이터를 모델링하기 위한 유연하고 계산 효율적인 R 기반 솔루션을 구현한다.
• 이 패키지의 실용성을 실제 적용 사례, 특히 플로우 세포 측정 및 군집화에서 입증한다.
• 2차원 및 3차원에서 피팅된 혼합모형의 시각화 도구를 제공한다. 등고선도 및 군집 맵 포함.

제안 방법

• E단계의 폐쇄형 표현식을 도출하기 위해 조건부 기대값을 다변량 비중앙 절단 t-분포의 모멘트로 간주함으로써 EM 알고리즘을 구현한다.
• 비중앙 절단 t-분포의 모멘트를 중심 t-분포의 표현식으로 변환하여 분석적 계산을 가능하게 한다.
• 알고리즘은 FM-uMST 모델의 모든 모수를 추정한다: 혼합 비율, 위치, 척도, 형태, 자유도.
• 패키지는 세 가지 핵심 기능을 포함한다: fmmst(피팅), rfmmst(임의의 표본 추출), fmmst.contour(시각화).
• 시각화 기능은 2차원 산점도에 등고선, 히트맵, 사용자 정의 수준과 구성 요소별 표시 기능을 갖춘 3차원 상호작용형 플롯을 지원한다.
• 알고리즘은 'clusters' 인수를 통해 구성 요소별 플롯 및 군집 레이블링을 지원하여 실제 레이블과의 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 제한 없는 다변량 비대칭 스튜던트의 t-분포 혼합모형에 대해 분포 제약 없이 폐쇄형 EM 알고리즘을 개발할 수 있는가?
• RQ2 비제약 조건이 적용된 모델과 비교하여 제한 없는 FM-uMST 모델이 이질적이고 비대칭적이며 꼬리가 두꺼운 데이터에서 군집화 성능에 미치는 영향은 어떠한가?
• RQ3 EMMIX-uskew는 플로우 세포 측정 데이터 분석에서 벤치마크 게이팅 분석에 비해 더 낮은 오분류율을 달성할 수 있는가?
• RQ4 패키지는 2차원 및 3차원 등고선도를 통해 복잡한 다변량 혼합모형의 해석을 어느 정도 지원할 수 있는가?
• RQ5 비대칭적이고 이상치에 민감한 구조를 가진 실세계 데이터셋, 예를 들어 플로우 세포 측정 및 AIS 데이터를 모델링하는 데 패키지의 효과성은 어떠한가?

주요 결과

• EMMIX-uskew는 성분의 비대칭 스튜던트의 t-분포에 제약을 두지 않고도 FM-uMST 모형에 대해 폐쇄형 EM 알고리즘을 성공적으로 구현하여 정확한 우도 최대화를 가능하게 하였다.
• 패키지는 제한된 MST 모델보다 호주 스포츠 기초 연구소(AIS) 데이터셋에서 더 나은 이질적 하위집단 분리 성능을 보이며, 군집화 성능이 뛰어나다.
• 3변량 플로우 세포 측정 데이터에서, 벤치마크 게이팅 분석에 기반한 검증 결과, EMMIX-uskew는 다른 방법들보다 낮은 오분류율을 기록하였다.
• 시각화 기능인 fmmst.contour.2d 및 fmmst.contour.3d는 군집 맵과 강도 히트맵을 포함한 피팅된 혼합 밀도를 효과적으로 표시하여 모델의 해석 가능성을 향상시켰다.
• rfmmst를 통한 임의의 표본 생성은 피팅된 FM-uMST 모형에서 현실적인 데이터를 시뮬레이션할 수 있게 하여 모델 검증 및 테스트를 지원한다.
• 세 가지 실세계 데이터 응용 사례를 통해 알고리즘이 비대칭적이고 꼬리가 두꺼운 데이터를 모델링하는 데 있어 강건성과 정확성을 입증하였다.