[논문 리뷰] Finding approximately Gaussian clusters via robust improper maximum likelihood

Pietro Coretto, Christian Hennig|arXiv (Cornell University)|2013. 09. 26.

Bayesian Methods and Mixture Models참고 문헌 39인용 수 2

한 줄 요약

이 논문은 다변량 데이터를 약간 비정규 분포를 띠는 군집으로 군집화하기 위해 이상치를 비합리적인 일정 밀도 성분으로 모델링하는 로버스트 불완전 최대우도추정법(RIMLE)을 소개한다. RIMLE의 존재성, 일致성, 붕괴 행동에 대한 이론적 기초를 비연속 공분산 제약 조건 하에서 확립하고, 구현을 위한 계산적으로 실현 가능한 EC-M 알고리즘을 제안한다.

ABSTRACT

The robust improper maximum likelihood estimator (RIMLE) is a new method for robust multivariate clustering finding approximately Gaussian clusters. It maximizes a pseudo-likelihood defined by adding a component with improper constant density for accommodating outliers to a Gaussian mixture. A special case of the RIMLE is MLE for multivariate finite Gaussian mixture models. In this paper we treat existence, consistency, and breakdown theory for the RIMLE comprehensively. RIMLE's existence is proved under non-smooth covariance matrix constraints. It is shown that these can be implemented via a computationally feasible Expectation-Conditional Maximization algorithm.

연구 동기 및 목표

• 이상치를 효과적으로 다룰 수 있는 로버스트 군집화 방법을 개발하여 다변량 데이터에서 약간 비정규 분포를 띠는 군집을 식별하고자 한다.
• 비연속 공분산 행렬 제약 조건 하에서 RIMLE의 존재성, 일치성, 붕괴 행동과 같은 이론적 성질을 확립하고자 한다.
• 실제 응용에 가능하게 하기 위해 RIMLE 추정을 위한 계산적으로 실현 가능한 알고리즘을 제공하고자 한다.
• 유한한 정규 혼합 모델에 대한 표준 MLE를 이상치 처리를 위해 비합리적인 일정 밀도 성분을 포함시켜 일반화하고자 한다.

제안 방법

• RIMLE는 이상치를 모델링하기 위해 정규 혼합 모델에 비합리적인 일정 밀도 성분을 추가하여 의사우도를 구성한다.
• 이 성분은 공분산 행렬에 대한 비연속 제약 조건 하에서 최대화되어 로버스트성을 확보한다.
• RIMLE의 특수한 경우는 이상치가 존재하지 않을 경우 표준 MLE 유한 정규 혼합 모델로 축소된다.
• 지정된 비연속 공분산 제약 조건 하에서 RIMLE의 존재성이 증명되어 이론적 타당성을 확보한다.
• 비연속 제약 조건을 효과적으로 다룰 수 있도록 조정된 조건부 최대화 단계를 포함한 계산적으로 실현 가능한 기대-조건부 최대화(EC-M) 알고리즘이 개발되었다.
• EC-M 알고리즘은 반복적으로 군집 파라미터와 할당을 업데이트하며, 조건부 최대화 단계는 비연속 제약 조건을 처리하도록 설계되었다.

실험 결과

연구 질문

• RQ1 로버스트 군집화에서 흔히 나타나는 비연속 공분산 행렬 제약 조건 하에서 RIMLE 추정량이 존재하는가?
• RQ2 정규 조건 하에서 RIMLE 추정량은 일치하는가? 즉, 표본 크기가 증가함에 따라 참 군집 파라미터로 수렴하는가?
• RQ3 오염 상황에서 RIMLE는 어떻게 작동하며, 이상치 존재 시 붕괴 행동은 어떠한가?
• RQ4 공분산 행렬에 대한 비연속 제약 조건에도 불구하고 RIMLE는 효율적으로 계산 가능한가?
• RQ5 로버스트성과 추정 안정성 측면에서 RIMLE는 정규 혼합 모델에 대한 표준 MLE와 이론적으로 어떻게 비교되는가?

주요 결과

• 비연속 공분산 행렬 제약 조건 하에서 RIMLE 추정량은 존재한다. 이는 로버스트 군집화에서의 응용을 위한 핵심 이론적 기초이다.
• 정규 조건 하에서 RIMLE는 일치성이 확보되어 표본 크기가 증가함에 따라 참으로 존재하는 군집 파라미터로 확률적 수렴을 이룬다.
• RIMLE는 유리한 붕괴 행동을 보이며, 심각한 이상치 오염 상황에서도 성능을 유지한다.
• 제안된 EC-M 알고리즘은 RIMLE의 효율적이고 실용적인 계산을 가능하게 하여 실제 다변량 군집화 과제에 적용 가능하게 한다.
• RIMLE는 이상치 처리를 위한 비합리적인 일정 밀도 성분을 포함시켜 표준 유한 정규 혼합 모델에 대한 MLE를 일반화한다.