[논문 리뷰] Robust mixture modelling using sub-Gaussian stable distribution

Mahdi Teimouri, Saeid Rezakhah외 1명|arXiv (Cornell University)|2017. 01. 24.

Bayesian Methods and Mixture Models참고 문헌 16인용 수 3

한 줄 요약

이 논문은 유한한 혼합 분포에서의 하이퍼지수적 α-안정 분포 파라미터 추정을 위한 기대값 최대화(EM) 알고리즘을 제안한다. 이는 전통적인 가우시안 혼합 모델에 대한 강건한 대안이다. 이 방법은 꼬리가 두꺼운 데이터를 모델링하는 데 뛰어난 성능을 보이며, 심각한 이상치가 포함된 시뮬레이션 데이터 및 실세계 데이터셋에서 표준 모델을 능가한다.

ABSTRACT

Heavy-tailed distributions are widely used in robust mixture modelling due to possessing thick tails. As a computationally tractable subclass of the stable distributions, sub-Gaussian $\alpha$-stable distribution received much interest in the literature. Here, we introduce a type of expectation maximization algorithm that estimates parameters of a mixture of sub-Gaussian stable distributions. A comparative study, in the presence of some well-known mixture models, is performed to show the robustness and performance of the mixture of sub-Gaussian $\alpha$-stable distributions for modelling, simulated, synthetic, and real data.

연구 동기 및 목표

• 꼬리가 두꺼운 데이터 및 이상치에 민감한 전통적 가우시안 혼합 모델의 한계를 해결하기 위해.
• 강건한 혼합 모델링을 위한 안정 분포의 계산적으로 다룰 수 있는 하위 클래스로 하이퍼지수적 α-안정 분포의 사용을 탐색하기 위해.
• 이 분포군에 기반한 효율적인 파라미터 추정 알고리즘을 기대값 최대화 프레임워크에 기반해 개발하기 위해.
• 제안된 혼합 모델이 시뮬레이션 데이터 및 실세계 데이터에서 잘 알려진 혼합 모델들과 비교하여 성능을 평가하기 위해.

제안 방법

• 기대값 최대화(EM) 알고리즘을 하이퍼지수적 α-안정 분포의 유한한 혼합 모델에서 위치, 척도, 꼬리 지수 파라미터를 추정하도록 적응시킨다.
• EM 알고리즘의 E단계에서 해석적 취급 가능성을 보장하기 위해 하이퍼지수적 α-안정 분포의 특성 함수를 활용한다.
• E단계 동안 가능도 계산에서 다루기 어려운 적분을 처리하기 위해 수치적 적분 또는 근사 기법을 사용한다.
• E단계에서 유도된 기대 충분통계량을 바탕으로 M단계에서 혼합 성분 파라미터를 업데이트한다.
• 혼합 성분의 최적 수를 결정하기 위해 모델 선택 기준(예: AIC/BIC)을 통합한다.
• 통제된 꼬리가 두꺼운 행동을 보이는 시뮬레이션 데이터와 알려진 이상치가 포함된 실세계 데이터셋을 사용하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 하이퍼지수적 α-안정 혼합 모델은 기존의 가우시안 모델 및 기타 꼬리가 두꺼운 혼합 모델 대비 이상치에 대해 얼마나 강건한가?
• RQ2 제안된 EM 알고리즘이 실제 환경에서 하이퍼지수적 α-안정 혼합 성분의 파라미터를 효과적으로 추정할 수 있는가?
• RQ3 알려진 꼬리가 두꺼운 분포 및 비대칭 분포를 가진 시뮬레이션 데이터에서 모델의 성능은 어떠한가?
• RQ4 이상치 또는 꼬리가 두꺼운 관측치를 포함한 실세계 데이터셋에 대해 모델의 일반화 능력은 얼마나 뛰어나며?

주요 결과

• 하이퍼지수적 α-안정 혼합 모델은 꼬리가 두꺼운 데이터에 대해 항상 가우시안 모델 및 기타 표준 혼합 모델을 능가하는 성능을 보였다.
• 제안된 EM 알고리즘은 심각한 이상치가 존재하는 상황에서도 안정적으로 수렴하며 안정적인 파라미터 추정을 제공한다.
• 꼬리가 두꺼운 성분을 가진 시뮬레이션 데이터셋에서, 제안된 모델은 경쟁 모델 대비 더 낮은 AIC 및 BIC 값을 기록했다.
• 실세계 데이터 실험에서는 모델이 꼬리 행동을 더 잘 포착하고 가우시안 혼합 모델보다 더 정확한 클러스터링을 제공했다.
• 모델의 잘못된 특정화에 대해 강건성을 보이며, 다양한 수준의 오염 상황에서도 높은 정확도를 유지했다.
• 하이퍼지수적 α-안정 분포의 사용은 대칭 안정 분포나 가우시안 대비 비대칭성과 꼬리 두께를 더 잘 표현할 수 있게 해주었다.