[논문 리뷰] Maximum Likelihood Estimation for Finite Mixtures of Canonical Fundamental Skew t-Distributions: the Unification of the Unrestricted and Restricted Skew t-Mixture Models

Sharon Lee, Geoffrey J. McLachlan|arXiv (Cornell University)|2014. 01. 31.

Statistical Distribution Estimation and Applications참고 문헌 10인용 수 6

한 줄 요약

이 논문은 유한 혼합물의 캐논컬 기본 비대칭 t-분포(FM-CFUST)에 대한 정확한 기대최대화(EM) 알고리즘을 제안하며, 제한된 및 비제한된 비대칭 t-혼합모형을 통합한다. 로그 함수의 무한급수 전개를 통해 모든 E단계 조건부 기대값에 대한 닫힌 형태의 표현식을 유도함으로써, 몬테카를로 근사나 수치적 방법에 의존하지 않고도 더 빠르고 정확한 매개변수 추정이 가능해진다.

ABSTRACT

In this paper, we present an algorithm for the fitting of a location-scale variant of the canonical fundamental skew t (CFUST) distribution, a superclass of the restricted and unrestricted skew t-distributions. In recent years, a few versions of the multivariate skew $t$ (MST) model have been put forward, together with various EM-type algorithms for parameter estimation. These formulations adopted either a restricted or unrestricted characterization for their MST densities. In this paper, we examine a natural generalization of these developments, employing the CFUST distribution as the parametric family for the component distributions, and point out that the restricted and unrestricted characterizations can be unified under this general formulation. We show that an exact implementation of the EM algorithm can be achieved for the CFUST distribution and mixtures of this distribution, and present some new analytical results for a conditional expectation involved in the E-step.

연구 동기 및 목표

• 캐논컬 기본 비대칭 t(CFUST) 분포를 사용하여 제한된(rMST) 및 비제한된(uMST) 다변량 비대칭 t-혼합모형을 하나의 매개변수 프레임워크로 통합하는 것.
• 이전 연구에서 사용된 계산이 복잡한 근사법을 피하는, 유한 혼합물의 CFUST 분포에 대한 정확한 EM 알고리즘을 개발하는 것.
• E단계에서 다루기 어려운 조건부 기대값, 특히 감마 변수를 포함한 로그우도 항에 대한 새로운 해석적 표현식을 유도하는 것.
• 비대칭 꼬리가 두꺼운 분포를 가진 유한 혼합모형에서 효율적이고 정확한 매개변수 추정을 가능하게 하는 것.

제안 방법

• 구성 요소 분포로 CFUST 분포를 사용하는 유한 혼합모형을 제안하며, 이는 제한된(rMST) 및 비제한된(uMST) 비대칭 t-분포를 일반화한다.
• E단계에서 다루기 어려운 기대값을 처리하기 위해 잘린 모멘트 방법을 사용하는 EM 알고리즘을 적용한다.
• 0 < x < 2 범위에서 log(x)의 테일러 급수 및 이항 전개를 활용하여 E[log(Wj)|yj]의 새로운 무한급수 표현식을 도출한다.
• 핵심 E단계 항 e(k)1,hj를 다변량 t-분포 함수와 감마 함수를 포함하는 수렴하는 급수로 표현한다.
• 모든 매개변수—위치(µ), 척도(Σ), 비대칭성(∆), 자유도(ν)—에 대해 해석적 해를 통한 닫힌 형태의 갱신식을 제공한다.
• 비대칭성 행렬 ∆에 대한 구조적 제약 조건을 부여함으로써 rMST 및 uMST 모형이 모두 특수한 경우로 나타남을 보여 검증한다.

실험 결과

연구 질문

• RQ1 제한된 및 비제한된 비대칭 t-혼합모형은 하나의 매개변수 가족 내에서 통합될 수 있는가?
• RQ2 CFUST 혼합모형의 EM 알고리즘 E단계에서 모든 조건부 기대값에 대해 정확한 닫힌 형태의 표현식을 도출할 수 있는가?
• RQ3 몬테카를로 적분 없이도 log(Wj)를 포함하는 다루기 어려운 기대값을 해석적으로 근사할 수 있는가?
• RQ4 제안된 EM 알고리즘이 수렴 속도와 추정 정확도 측면에서 기존 방법보다 뛰어나게 성능을 발휘하는가?
• RQ5 통합된 FM-CFUST 모형은 유한 혼합 응용에서 rMST 및 uMST 모형에 대한 융통성 있는 대안이 될 수 있는가?

주요 결과

• 제안된 FM-CFUST 모형은 비대칭성 행렬 ∆에 대한 구조적 제약 조건을 통해 rMST 및 uMST 모형을 특수한 경우로 포함함으로써 두 모형을 통합한다.
• 다변량 t-분포 함수와 감마 함수를 포함하는 무한급수를 활용하여 e(k)1,hj에 대한 새로운 정확한 표현식을 도출하였으며, 이로 인해 닫힌 형태의 계산이 가능해졌다.
• Lin(2010)에서 사용된 몬테카를로 근사 및 Lee와 McLachlan(2013a)의 OSL 방법을 피함으로써 더 빠르고 정확한 수렴이 가능해졌다.
• 모든 E단계 조건부 기대값이 이제 해석적으로 다룰 수 있게 되어 EM 알고리즘의 완전한 정확한 구현이 가능해졌다.
• S(k)1,hj에 대한 유도된 급수는 실질적으로 소수의 항만으로도 수렴하므로 계산적으로 실현 가능하다.
• 모의실험을 통해 비대칭 꼬리가 두꺼운 데이터 구조에서도 일관되고 효율적인 매개변수 추정이 가능함을 입증하였다(결론에서 암시됨).