[논문 리뷰] On the fitting of mixtures of multivariate skew t-distributions via the EM algorithm

S. X. Lee, Geoffrey J. McLachlan|arXiv (Cornell University)|2011. 09. 22.

Statistical Distribution Estimation and Applications참고 문헌 30인용 수 32

한 줄 요약

이 논문은 몽테카를로 방법에 의존하지 않고 다변량 비대칭 t-분포의 유한 혼합모형을 정확하게 피팅하기 위한 정확한 EM 알고리즘을 제시한다. 비가역 조건부 기대값을 추정가능한 다변량 t-분포의 절단된 버전의 모멘트로 표현함으로써, 특히 고차원에서 몽테카를로 EM보다 훨씬 빠르고 정확한 매개변수 추정을 달성한다.

ABSTRACT

We show how the expectation-maximization (EM) algorithm can be applied exactly for the fitting of mixtures of general multivariate skew t (MST) distributions, eliminating the need for computationally expensive Monte Carlo estimation. Finite mixtures of MST distributions have proven to be useful in modelling heterogeneous data with asymmetric and heavy tail behaviour. Recently, they have been exploited as an effective tool for modelling flow cytometric data. However, without restrictions on the the characterizations of the component skew t-distributions, Monte Carlo methods have been used to fit these models. In this paper, we show how the EM algorithm can be implemented for the iterative computation of the maximum likelihood estimates of the model parameters without resorting to Monte Carlo methods for mixtures with unrestricted MST components. The fast calculation of semi-infinite integrals on the E-step of the EM algorithm is effected by noting that they can be put in the form of moments of the truncated multivariate t-distribution, which subsequently can be expressed in terms of the non-truncated form of the t-distribution function for which fast algorithms are available. We demonstrate the usefulness of the proposed methodology by some applications to three real data sets.

연구 동기 및 목표

• 유한 혼합모형의 다변량 비대칭 t-분포에서 최대우도 추정을 위한 몽테카를로 방법에 대한 의존도를 제거하기 위해.
• 제약 조건이 없는 다변량 비대칭 t-분포에 대해 EM 알고리즘의 E단계에서 비가역적인 조건부 기대값 문제를 해결하기 위해.
• 고차원 데이터에 대해 몽테카를로 EM의 수치적 효율성과 정확성의 대안을 개발하기 위해.
• 유량세포측정 및 뇌종양 데이터 분석과 같은 적용 분야에서 재현 가능하고 정밀한 매개변수 추정을 가능하게 하기 위해.
• 차원 수가 증가함에 따라 정확한 방법이 몽테카를로 EM보다 빠르고 정확하며 확장성이 뛰어나다는 것을 입증하기 위해.

제안 방법

• E단계의 조건부 기대값을 다변량 절단된 t-분포의 모멘트로 수식화한다.
• 이러한 모멘트를 비제약 조건의 다변량 t-분포의 누적분포함수를 포함하는 표현식으로 감소시킨다.
• 다변량 t-분포 함수를 평가하기 위한 기존의 빠른 알고리즘을 활용하여 계산을 가속화한다.
• 스토케스틱 근사 대신 해석적 유도를 활용하여 몽테카를로 적분을 결정론적 수치 평가로 대체한다.
• 반복적인 매개변수 업데이트를 위해 이러한 정확한 표현식을 사용하여 EM 알고리즘을 구현한다.
• 완전한 우도 기반 추론이 가능한 유한 혼합모형의 다변량 비대칭 t-분포(FM-MST)에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 제약 조건이 없는 다변량 비대칭 t-분포의 유한 혼합모형에 대해 몽테카를로 근사 없이 정확한 EM 알고리즘을 구현할 수 있는가?
• RQ2 다양한 차원의 데이터에서 정확한 EM의 계산 효율성과 정확도가 몽테카를로 EM과 비교해 어떻게 다를 것인가?
• RQ3 정확한 방법은 몽테카를로 방법 대비 계산 시간을 얼마나 줄일 수 있으며, 정확도는 유지 또는 향상시킬 수 있는가?
• RQ4 차원 수가 증가함에 따라 정확한 방법과 몽테카를로 EM 간의 성능 격차에 어떤 영향을 미치는가?
• RQ5 스토케스틱 몽테카를로 방법과 달리 정확한 방법은 재현 가능한 결과를 얻을 수 있는가?

주요 결과

• p=2일 때, 정확한 EM 알고리즘은 50회의 샘플을 사용한 몽테카를로 EM보다 최소 25배 빠르며, 고차원에서 속도와 정확도 모두 뛰어나다.
• p=10일 때, 정확한 방법은 500회의 샘플을 사용한 몽테카를로 EM보다 30,000배 이상 정확하며, 동시에 더 빠르다.
• p > 6일 경우 몽테카를로 EM은 적어도 500회의 샘플이 필요로 하여 정확도가 확보되므로, 정확한 방법에 비해 계산적으로 비현실적이 된다.
• 정확한 방법은 기본 허용오차 10⁻⁶로 높은 정확도를 달성하지만, 몽테카를로 방법은 유사한 정밀도에 도달하기 위해 대규모 표본 크기가 필요하다.
• 정확한 알고리즘은 재현 가능한 결과를 생성하지만, 몽테카를로 EM은 실행 간 스토케스틱 변동성으로 인해 그렇지 않다.
• 이 방법은 고차원 데이터에 효과적으로 스케일업되며, 계산 시간은 차원에 따라 증가하지만 다변량 t-함수의 효율적 평가 덕분에 실행 가능하다.