[논문 리뷰] On Estimation of Parameter Uncertainty in Model-Based Clustering

Adrian O’Hagan, Thomas Brendan Murphy외 1명|arXiv (Cornell University)|2015. 10. 02.

Bayesian Methods and Mixture Models인용 수 4

한 줄 요약

이 논문은 혼합 모델을 사용한 모델 기반 군집화에서 표준 오차와 신뢰구간을 추정하기 위해 부트스트랩, 가중 가능도 부트스트랩, 잡킨 방법을 평가한다. 시뮬레이션과 올드 페스털 데이터셋을 통해 이러한 재표본화 기법들이 신뢰할 수 있는 불확실성 측정을 제공함을 보여주며, 일반적으로 매개변수 변동성을 忽略하는 표준 모델 피팅 관행에서 비어 있는 중요한 격차를 메운다.

ABSTRACT

Mixture models are a popular tool in model-based clustering. Such a model is often fitted by a procedure that maximizes the likelihood, such as the EM algorithm. At convergence, the maximum likelihood parameter estimates are typically reported, but in most cases little emphasis is placed on the variability associated with these estimates. In part this may be due to the fact that standard errors are not directly calculated in the model-fitting algorithm, either because they are not required to fit the model, or because they are difficult to compute. The examination of standard errors in model-based clustering is therefore typically neglected. The widely used R package mclust has recently introduced bootstrap and weighted likelihood bootstrap methods to facilitate standard error estimation. This paper provides an empirical comparison of these methods (along with the jackknife method) for producing standard errors and confidence intervals for mixture parameters. These methods are illustrated and contrasted in both a simulation study and in the traditional Old Faithful data set.

연구 동기 및 목표

• 모델 기반 군집화에서 최대우도 추정치가 표준 오차 없이 보고되는 데 비해 매개변수 불확실성에 대한 관심이 부족한 문제를 해결하기 위해.
• 혼합 모수의 표준 오차 추정에 대해 부트스트랩, 가중 가능도 부트스트랩(WLB), 잡킨 방법의 성능을 평가하기 위해.
• 이러한 재표본화 기법의 신뢰성과 정확성이 시뮬레이션 및 실제 세계 군집링 시나리오 모두에서 어떻게 작용하는지에 대한 실증적 증거를 제공하기 위해.
• 이제 이러한 기법들을 지원하는 R 패키지 mclust를 사용하여 이러한 방법들의 실용적 구현을 설명하기 위해.

제안 방법

• 기준으로 삼을 최대우도 추정치를 확보하기 위해 데이터에 유한한 정규 혼합 모델을 피팅하기 위해 EM 알고리즘을 사용한다.
• 비모수 부트스트랩, 가중 가능도 부트스트랩(WLB), 삭제-그룹 잡킨 방법을 포함한 세 가지 재표본화 기법을 적용하여 혼합 모수의 표준 오차를 추정한다.
• 델타 방법과 점근 이론을 사용하여 재표본화 기반 표준 오차를 검증하고, 가능할 경우 분석적 근사와 비교한다.
• 기본적으로 알려진 매개변수 값을 가진 시뮬레이션 데이터와 고전적인 올드 페스털 분출 데이터셋에 이러한 방법들을 적용하여 커버리지와 정밀도를 평가한다.
• 재표본화된 추정치의 백분위수를 사용하여 신뢰구간을 구축하고, 그 커버리지 확률을 평가한다.

실험 결과

연구 질문

• RQ1 모델 기반 군집화에서 혼합 모수의 표준 오차 추정에 대해 부트스트랩, WLB, 잡킨 방법은 어떻게 비교되는가?
• RQ2 유한 표본에서 이러한 재표본화 기법으로 유도된 신뢰구간의 커버리지 성능은 어떠한가?
• RQ3 이러한 방법들은 이론적 기대와 비교하여 실질적인 데이터, 예를 들어 올드 페스털 데이터셋에서 어떻게 작동하는가?
• RQ4 분석적 표준 오차를 계산하기 어려운 상황에서 이러한 재표본화 기법들이 매개변수 불확실성을 신뢰할 수 있게 측정할 수 있는가?

주요 결과

• 부트스트랩과 WLB 방법은 시뮬레이션과 올드 페스털 데이터셋 모두에서 유사한 표준 오차 추정치를 제공했으며, 혼합 모수에 대해 양호한 커버리지 성질을 보였다.
• 잡킨 방법은 표준 오차 추정치에서 略로 높은 변동성을 보였지만, 특히 작은 표본에서 여전히 타당한 대안이었다.
• 모든 세 가지 재표본화 기법이 분석적 표준 오차가 없는 최대우도 추정치에만 의존하는 것보다 더 신뢰할 수 있는 불확실성 추정치를 제공했다.
• WLB 방법은 계산적으로 효율적이며, 가능도가 복잡하거나 고차원적인 경우 모델 기반 군집화에 매우 적합한 것으로 나타났다.