[논문 리뷰] Mixtures of Factor Analyzers with Fundamental Skew Symmetric Distributions

Sharon Lee, Tsung‐I Lin외 1명|arXiv (Cornell University)|2018. 02. 07.

Bayesian Methods and Mixture Models참고 문헌 36인용 수 7

한 줄 요약

이 논문은 스케일 혼합 캐논칼 편태분포(스케일 혼합의 기본 편태 t-분포, SMCFUST)를 사용하는 탄력적인 유한 혼합 요인 분석기법(SMCFUSTFA)을 제안한다. 이 모형은 기존 모형이 단일 방향의 편태를 가정하는 데서 비롯하는 한계를 극복하여, 동시에 여러 임의의 방향의 편태를 모델링할 수 있다. 이 방법은 최대우도 추정을 위한 EM 유사 알고리즘을 사용하며, 경쟁 모형들과 비교해 실제 데이터셋에서 뛰어난 성능을 보였다.

ABSTRACT

Mixtures of factor analyzers (MFA) provide a powerful tool for modelling high-dimensional datasets. In recent years, several generalizations of MFA have been developed where the normality assumption of the factors and/or of the errors was relaxed to allow for skewness in the data. However, due to the form of the adopted component densities, the distribution of the factors/errors in most of these models is typically limited to modelling skewness oncentrated in a single direction. Here, we introduce a more flexible finite mixture of factor analyzers based on the class of scale mixtures of canonical fundamental skew normal (SMCFUSN) distributions. This very general class of skew distributions can capture various types of skewness and asymmetry in the data. In particular, the proposed mixture model of SMCFUSN factor analyzers(SMCFUSNFA) can simultaneously accommodate multiple directions of skewness. As such, it encapsulates many commonly used models as special and/or limiting cases, such as models of some versions of skew normal and skew t-factor analyzers, and skew hyperbolic factor analyzers. For illustration, we focus on the t-distribution member of the class of SMCFUSN distributions, leading to mixtures of canonical fundamental skew t-factor analyzers (CFUSTFA). Parameter estimation can be carried out by maximum likelihood via an EM-type algorithm. The usefulness and potential of the proposed model are demonstrated using two real datasets.

연구 동기 및 목표

• 기존 혼합 요인 분석기법이 단일 방향의 편태를 가정하는 데서 비롯하는 한계를 해결하기 위해.
• 고차원 데이터에서 다양한 유형의 편태와 비대칭성을 포착할 수 있는 더 유연한 모형을 개발하기 위해.
• 요인 분석기법에 사용되는 편태 분포의 범주를 스케일 혼합의 캐논칼 기본 편태 t-분포(SMCFUST)를 도입하여 확장하기 위해.
• 기존의 많은 편태 요인 분석기법 모형을 특수 케이스로 포함하는 통합 프레임워크를 제공하기 위해.
• 성능 평가 측도를 사용하여 실제 데이터셋에 대한 경험적 평가를 통해 모형의 효과성을 입증하기 위해.

제안 방법

• 스케일 혼합의 캐논칼 기본 편태 t-분포(SMCFUST)를 기반으로 하는 혼합 요인 분석기법(SMCFUSTFA)을 제안한다. 이는 다수의 임의의 방향의 편태를 허용하는 일반적인 편태 분포의 클래스이다.
• 최대우도 추정을 위한 EM 유사 알고리즘을 사용하며, 잠재 변수의 조건부 기대값에 대한 E단계 식을 유도한다.
• CFUST 분포에 스케일 매개변수의 행렬을 통합하여, 단일 방향에 국한되지 않은 탄력적인 편태 모델링을 가능하게 한다.
• 절단된 t-분포와 조건부 기대값을 포함하는 E단계 식을 유도하며, 절단된 변량의 모멘트에 대한 닫힌 형태의 근사식을 제공한다.
• 안정적인 구현을 위해 초기화 전략, 수렴 평가 및 모형 선택 기법을 통합한다.
• 기존의 혼합 스케일 정규 및 스케일 t-요인 분석기법과 같은 모형을 일반화하며, 이들 모형을 특수 케이스로 포함한다.

실험 결과

연구 질문

• RQ1 혼합 요인 분석기법은 단일 편태 방향에 제한되지 않고, 동시에 여러 방향의 편태를 모델링할 수 있는가?
• RQ2 실제 고차원 데이터에서 SMCFUSTFA 모형은 기존의 편태 요인 분석기법 모형과 비교해 성능 면에서 어떻게 다른가?
• RQ3 제안된 모형이 MSNFA, MSTFA, MGHSTFA와 같은 기존 모형들을 얼마나 포괄하거나 일반화하는가?
• RQ4 CFUST 분포의 스케일 혼합을 사용할 경우, 데이터의 무거운 尾(꼬리)와 비대칭성 모델링에 어떤 영향을 미치는가?
• RQ5 실제로 SMCFUSTFA 모형의 파라미터 추정에 있어 EM 유사 알고리즘이 얼마나 효과적인가?

주요 결과

• SMCFUSTFA 모형은 기존의 제한된 편태 분포를 가진 모형들이 처리하지 못하는 여러 임의의 방향의 편태를 성공적으로 포착한다.
• 두 개의 실제 데이터셋에서 다양한 성능 평가 측도를 통해 경쟁 모형들보다 뛰어난 성능을 보이며, 모형의 효과성을 입증한다.
• SMCFUSTFA 모형은 혼합 스케일 정규, 스케일 t, 스케일 초평면형 요인 분석기법을 특수 또는 극한 경우로 포함한다.
• EM 유사 알고리즘이 신뢰성 있게 수렴하며 정확한 파라미터 추정을 제공한다. 적절한 초기화 및 수렴 기준이 성능 향상에 기여한다.
• 알고리즘의 E단계 식은 절단된 t-분포와 조건부 기대값을 기반으로 유도되었으며, 기존 통계 공식에 기반한 절단된 변량의 모멘트 근사식을 사용한다.
• 경험적 결과는 기존의 MFA 및 기타 편태 확장 모형보다 제안된 모형이 편태가 심하고 고차원적인 데이터에 더 좋은 적합도를 제공함을 보여준다.