[논문 리뷰] Fitting A Mixture Distribution to Data: Tutorial

Benyamin Ghojogh, Aydin Ghojogh외 2명|arXiv (Cornell University)|2019. 01. 20.

Bayesian Methods and Mixture Models참고 문헌 2인용 수 8

한 줄 요약

이 튜토리얼은 기초 미적분과 선형대수학만을 가정하고, 기대치 최대화(EM) 알고리즘을 사용하여 데이터에 혼합 분포를 피팅하는 단계별 방법을 제시한다. 연속형 가우시안과 이산형 포아송 분포의 혼합 모델을 적용하여, 단일 분포 피팅이 실패하는 다모달 데이터를 효과적으로 포착할 수 있음을 보여준다.

ABSTRACT

This paper is a step-by-step tutorial for fitting a mixture distribution to data. It merely assumes the reader has the background of calculus and linear algebra. Other required background is briefly reviewed before explaining the main algorithm. In explaining the main algorithm, first, fitting a mixture of two distributions is detailed and examples of fitting two Gaussians and Poissons, respectively for continuous and discrete cases, are introduced. Thereafter, fitting several distributions in general case is explained and examples of several Gaussians (Gaussian Mixture Model) and Poissons are again provided. Model-based clustering, as one of the applications of mixture distributions, is also introduced. Numerical simulations are also provided for both Gaussian and Poisson examples for the sake of better clarification.

연구 동기 및 목표

• 기초 미적분과 선형대수학만을 사용하여 혼합 분포를 데이터에 피팅하는 초보자에게 친화적인 단계별 가이드를 제공한다.
• 연속형(가우시안) 및 이산형(포아송) 경우 모두에서 혼합 모델의 매개변수를 추정하는 데 EM 알고리즘을 적용하는 방법을 보여준다.
• 시뮬레이션을 통해 혼합 모델이 단일 분포 피팅보다 다모달 데이터 구조를 더 잘 포착함을 보여준다.
• 혼합 분포의 핵심 응용 중 하나인 모델 기반 클러스터링을 소개한다.
• 실제 구현을 위해 명확한 초기화 전략과 수렴 모니터링 방법을 제공한다.

제안 방법

• 기대치 최대화(EM) 알고리즘을 사용하여 혼합 비율 $ w_k $, 구성 요소 매개변수 $ \Theta_k $, 구성 요소 분포 $ g_k(x; \Theta_k) $ 를 반복적으로 추정한다.
• 일반화하기 전에 $ K $ 개의 구성 요소로 일반화하기 전에 두 개의 분포 혼합을 특수 케이스로 적용한다.
• 가우시안 혼합 모델의 경우 평균 $ \mu_k $ 와 공분산 $ \Sigma_k $ 를 가진 다변수 정규 밀도 함수를 사용하고, EM 알고리즘을 통해 매개변수를 추정한다.
• 포아송 혼합 모델의 경우 포아송 확률 질량 함수 $ \frac{e^{-\lambda_k} \lambda_k^x}{x!} $ 를 사용하고, EM 알고리즘을 통해 $ \lambda_k $ 와 $ w_k $ 를 추정한다.
• 데이터 범위에 걸쳐 균일 분포를 사용하여 $ \lambda_k $ 와 $ w_k $ 를 초기화하고, 최대우도추정(MLE) 추정치를 시작점으로 사용한다.
• 반복 과정에서 매개변수 $ \lambda_k $ 와 $ w_k $ 의 변화를 추적하여 수렴 여부를 모니터링하며, 변화가 임계값 이하로 떨어지면 수렴으로 간주한다.

실험 결과

연구 질문

• RQ1 기초 수학 지식만으로 어떻게 혼합 분포를 데이터에 피팅할 수 있는가?
• RQ2 다중 구성 요소를 가진 혼합 모델의 매개변수를 추정하는 데 EM 알고리즘이 수행하는 역할은 무엇인가?
• RQ3 가우시안과 포아송 혼합 모델은 다모달 데이터를 포착하는 데 단일 분포 피팅과 어떻게 비교되는가?
• RQ4 혼합 분포 피팅에서 EM 알고리즘에 대한 효과적인 초기화 전략은 무엇인가?
• RQ5 실제로 EM 알고리즘의 수렴 여부는 어떻게 모니터링하고 검증할 수 있는가?

주요 결과

• EM 알고리즘이 매개변수 $ \mu_1=1.66 $, $ \sigma_1=0.85 $, $ w_1=0.328 $, $ \mu_2=6.72 $, $ \sigma_2=1.12 $, $ w_2=0.256 $, $ \mu_3=12.85 $, $ \sigma_3=1.35 $, $ w_3=0.416 $ 를 가진 세 개의 가우시안 혼합 모델을 성공적으로 추정하여 데이터의 다모달 구조를 잘 반영하였다.
• 세 개의 포아송 혼합 모델은 $ \lambda_1=1.66 $, $ w_1=0.328 $, $ \lambda_2=6.72 $, $ w_2=0.256 $, $ \lambda_3=12.85 $, $ w_3=0.416 $ 로 정확하게 피팅되었으며, 이는 모델이 복잡한 이산적 다모달성을 잘 포착할 수 있음을 확인한다.
• 시뮬레이션 결과, MLE를 통한 단일 분포 피팅은 데이터의 다모달성을 포착하지 못한 반면, 혼합 모델은 기저의 구성 요소 분포를 성공적으로 표현하였다.
• 그림을 통해 두 가지 혼합 모델(가우시안 및 포아송)의 매개변수 궤적의 안정성을 시각적으로 확인하여 수렴을 확인하였다.
• 데이터 범위에 걸쳐 $ \lambda_k $ 와 $ w_k $ 에 대해 균일 분포를 사용한 초기화 전략이 연속형 및 이산형 케이스 모두에서 안정적인 수렴을 이끌어냈다.
• 혼합 분포는 구성 요소 밀도의 가중 합으로 표현되며, 그림 5와 9에서의 시각적 비교를 통해 경험적 데이터 분포를 정확히 반영함을 검증하였다.