[논문 리뷰] Non-Normal Mixtures of Experts

Faïcel Chamroukhi|arXiv (Cornell University)|2015. 06. 22.

Bayesian Methods and Mixture Models인용 수 6

한 줄 요약

이 논문은 비정규 혼합 전문가(NNMoE) 모델—비대칭 정규 혼합 전문가(SNMoE), 스튜던트의 t 혼합 전문가(TMoE), 비대칭 t 혼합 전문가(STMoE)—을 제안하여 정규 혼합 전문가(NMoE) 모델이 비대칭, 꼬리가 무거운, 또는 이상치가 많은 회귀 및 군집 데이터를 모델링하는 데 한계를 보이는 문제를 해결한다. 모델들은 잠재 변수가 존재하는 상황에서 최대우도 추정을 위해 EM/ECM 알고리즘을 사용하며, 시뮬레이션 및 실제 데이터(음성 인식, 기후 기온 이상 현상 포함)에서 뛰어난 강건성과 정확도를 입증한다.

ABSTRACT

Mixture of Experts (MoE) is a popular framework for modeling heterogeneity in data for regression, classification and clustering. For continuous data which we consider here in the context of regression and cluster analysis, MoE usually use normal experts, that is, expert components following the Gaussian distribution. However, for a set of data containing a group or groups of observations with asymmetric behavior, heavy tails or atypical observations, the use of normal experts may be unsuitable and can unduly affect the fit of the MoE model. In this paper, we introduce new non-normal mixture of experts (NNMoE) which can deal with these issues regarding possibly skewed, heavy-tailed data and with outliers. The proposed models are the skew-normal MoE and the robust $t$ MoE and skew $t$ MoE, respectively named SNMoE, TMoE and STMoE. We develop dedicated expectation-maximization (EM) and expectation conditional maximization (ECM) algorithms to estimate the parameters of the proposed models by monotonically maximizing the observed data log-likelihood. We describe how the presented models can be used in prediction and in model-based clustering of regression data. Numerical experiments carried out on simulated data show the effectiveness and the robustness of the proposed models in terms modeling non-linear regression functions as well as in model-based clustering. Then, to show their usefulness for practical applications, the proposed models are applied to the real-world data of tone perception for musical data analysis, and the one of temperature anomalies for the analysis of climate change data.

연구 동기 및 목표

• 비대칭, 꼬리가 두꺼운, 또는 이상치가 많은 데이터를 다루는 데 있어 정규 혼합 전문가(NMoE)의 한계를 해결한다.
• 비대칭성과 꼬리의 두께를 동시에 고려할 수 있도록 비대칭 정규, t, 비대칭 t 분포를 기반으로 한 비정규 MoE 모델을 개발하여 비정규 데이터에 대한 강건성과 적합도를 향상시킨다.
• 잠재 변수가 존재하는 상황에서 모델 파라미터의 최대우도 추정을 위한 전용 EM 및 ECM 알고리즘을 제공한다.
• 비선형 회귀 예측 및 연속 데이터의 모델 기반 군집 분석에서 NNMoE 모델의 유용성을 입증한다.
• 모델을 시뮬레이션 데이터와 실제 응용 사례(음성 인식, 기후 변화 데이터 포함)에 대해 검증한다.

제안 방법

• 비대칭 데이터를 모델링하기 위해 비대칭 정규 분포를 사용하는 SNMoE를 제안하며, 잠재 변수 모델링을 위한 계층적 및 확률적 표현을 제공한다.
• 꼬리가 두꺼운 데이터와 이상치를 다루기 위해 t-분포를 기반으로 한 TMoE를 도입하며, 정규분포의 척도 혼합을 활용해 강건성을 확보한다.
• 비대칭 정규 분포와 t-분포를 비대칭 t-분포를 통해 조합하여 동시에 비대칭성과 꼬리의 두께를 모델링하는 STMoE를 개발한다.
• 관측 데이터의 로그우도를 단조롭게 증가시키기 위해 ECM 및 EM 알고리즘을 설계하며, 모든 모델 파라미터에 대한 E단계 및 M단계 업데이트를 수행한다.
• 특히 혼합 성분 내 잠재 변수를 다룰 때 유리한 계층적 및 확률적 표현을 활용하여 EM/ECM 알고리즘 유도를 보다 용이하게 한다.
• 모델 선택 기준(BIC, AIC, ICL)을 적용하여 시뮬레이션 및 실제 데이터 실험에서 최적의 성분 수를 결정한다.

실험 결과

연구 질문

• RQ1 비정규 혼합 전문가 모델은 기존 표준 정규 MoE 대비 비대칭성, 꼬리가 두꺼운, 이상치가 많은 데이터의 모델링 정확도를 향상시킬 수 있는가?
• RQ2 SNMoE, TMoE, STMoE는 비대칭 또는 꼬리가 두꺼운 데이터가 존재하는 상황에서 비선형 회귀 함수를 얼마나 잘 근사하는가?
• RQ3 제안된 모델은 이질적인 회귀 데이터에 대한 모델 기반 군집 분석 성능을 어느 정도 향상시키는가?
• RQ4 시뮬레이션 연구에서 TMoE 및 STMoE 모델은 NMoE 및 SNMoE 모델 대비 이상치에 대해 얼마나 강건한가?
• RQ5 실제 데이터(예: 음성 인식 및 기후 기온 이상 현상)에서 제안된 모델의 경험적 성능은 어떠한가?

주요 결과

• SNMoE, TMoE, STMoE 모델은 비대칭성, 꼬리가 두꺼운, 또는 이상치가 있는 시뮬레이션 데이터에서 비선형 회귀 함수를 효과적으로 모델링한다.
• TMoE 및 STMoE 모델은 정규 혼합 전문가(NMoE) 대비 이상치에 대해 뛰어난 강건성을 보였으며, 안정적인 파라미터 추정치와 일관된 로그우도 프로파일을 통해 이를 입증했다.
• 음성 인식 데이터셋에서 모든 모델이 유사한 적합도를 보였으며, STMoE 및 TMoE는 이전 연구에서 제안된 라플라스 MoE 모델과 유사한 성능을 보였다.
• 기온 이상 현상 데이터셋에서는 BIC 및 ICL 기준으로 항상 두 개의 성분이 선택되었고, AIC는 NMoE에 대해 더 많은 성분을 선호하여 과적합 가능성에 대한 경고를 주었다.
• TMoE 및 STMoE에서 추정된 자유도가 17를 초과하여 데이터가 약간 정규분포에 가까운 것으로 나타났으며, 비대칭성 파라미터는 0에 가까워 기온 데이터의 대칭성을 지지했다.
• 모델 간 파라미터 추정치는 매우 일관되었으며, SNMoE 및 STMoE는 거의 0에 가까운 비대칭성 파라미터를 보여 기온 이상 현상 데이터에 강한 비대칭성이 없음을 시사했다.