[논문 리뷰] Model-based clustering of Gaussian copulas for mixed data

Matthieu Marbac, Christophe Biernacki외 1명|arXiv (Cornell University)|2014. 05. 06.

Bayesian Methods and Mixture Models참고 문헌 35인용 수 4

한 줄 요약

이 논문은 연속형, 정수형, 순서형 변수를 포함한 혼합형 데이터를 클러스터링하기 위한 가우시안 코풀라 혼합 모델을 제안한다. 이 모델은 마진 분포와 구성 요소 내 상관관계를 별도로 모델링하기 위해 코풀라를 활용한다. 이 방법은 잠재 변수에 대한 주성분 분석(PCA)을 통해 의미 있는 시각화를 가능하게 하며, 독립 구성 요소 모델 대비 편향을 감소시키고 구성 요소 수를 줄여 유연성과 함께 해석 가능한 클러스터링을 실현한다.

ABSTRACT

Clustering task of mixed data is a challenging problem. In a probabilistic framework, the main difficulty is due to a shortage of conventional distributions for such data. In this paper, we propose to achieve the mixed data clustering with a Gaussian copula mixture model, since copulas, and in particular the Gaussian ones, are powerful tools for easily modelling the distribution of multivariate variables. Indeed, considering a mixing of continuous, integer and ordinal variables (thus all having a cumulative distribution function), this copula mixture model defines intra-component dependencies similar to a Gaussian mixture, so with classical correlation meaning. Simultaneously, it preserves standard margins associated to continuous, integer and ordered features, namely the Gaussian, the Poisson and the ordered multinomial distributions. As an interesting by-product, the proposed mixture model generalizes many well-known ones and also provides tools of visualization based on the parameters. At a practical level, the Bayesian inference is retained and it is achieved with a Metropolis-within-Gibbs sampler. Experiments on simulated and real data sets finally illustrate the expected advantages of the proposed model for mixed data: flexible and meaningful parametrization combined with visualization features.

연구 동기 및 목표

• 연속형, 정수형, 순서형 변수를 포함한 혼합형 데이터의 클러스터링 문제를 확률적 프레임워크를 통해 해결하기 위해.
• 기존의 혼합형 데이터에 적합한 다변량 분포가 부족한 문제를 가우시안 코풀라를 활용하여 해결하기 위해.
• 표준 마진 분포(Gaussian, Poisson, 순서형 다항분포)를 유지함으로써 구성 요소의 해석 가능성을 확보하기 위해.
• 클러스터의 해석 가능성을 향상시키기 위해 모델 파라미터 기반의 시각화 도구를 제공하기 위해.
• 혼합형 데이터의 종속성과 누락값을 처리할 수 있는 강력한 베이지안 추론 프레임워크를 개발하기 위해.

제안 방법

• 각 클러스터를 가우시안 코풀라로 모델링하여 마진 분포와 의존성 구조를 분리한다.
• 표준 마진 분포 유지: 연속형 변수에는 가우시안, 정수형 변수에는 포아송, 순서형 변수에는 순서형 다항분포를 사용한다.
• 코풀라의 잠재 변수를 활용하여 각 구성 요소 내 개별 관측치에 대한 PCA 유사 시각화를 가능하게 한다.
• 혼합 마진 분포가 존재하는 상황에서 추정을 단순화하기 위해 메트로폴리스-내-지그스 샘플러를 적용한다.
• 모든 구성 요소에서 동일한 상관계수 행렬을 가정함으로써 파라미터 수를 줄이기 위해 동분산(variant)을 도입한다.
• 누락값이 무작위로 누락된 경우를 가정하여 견고한 추론을 위해 지그스 샘플러를 수정한다.

실험 결과

연구 질문

• RQ1 가우시안 코풀라 혼합 모델은 해석 가능한 마진 분포를 유지하면서도 혼합형 데이터를 효과적으로 클러스터링할 수 있는가?
• RQ2 제안된 모델은 국소 독립 혼합 모델 대비 편향과 구성 요소 수 측면에서 어떻게 성능이 뛰어나게 되는가?
• RQ3 코풀라의 잠재 구조는 클러스터 특화 패턴을 의미 있는 방식으로 시각화할 수 있는가?
• RQ4 이 모델은 동질적 데이터에 대한 기존의 유한 혼합 모델을 어느 정도 일반화하는가?
• RQ5 다른 모델에서 생성된 데이터에 대해 이 모델이 얼마나 견고하게 적합되는가?

주요 결과

• 모델은 불꽃 행동의 세 가지 구분 가능한 유형(예측 불가능한 화재: 데이터의 9%, 예측 가능한 여름 화재: 78%, 겨울 화재: 13%)을 성공적으로 클러스터링하였으며, 각각 해석 가능한 마진 및 상관계수 구조를 보였다.
• 국소 독립 모델 대비 가우시안 코풀라 혼합 모델이 구성 요소 수를 줄여 편향을 감소시키고 모델 적합도를 향상시켰다.
• 잠재 변수에 대한 PCA를 통한 시각화에서는 구성 요소 3(겨울 화재)가 다른 구성 요소들과 명확히 분리되어, 그들의 고유한 분포 특성을 드러내었다.
• 상관계수 행렬은 의미 있는 의존성 관계를 보였으며, 겨울 화재에서 FFMC와 DMC 값 간의 관계, 여름 화재 조건에서 고온도와의 관련성을 확인할 수 있었다.
• 다른 모델에서 생성된 데이터에 대해 적합한 결과를 보이며 모델의 일반화 능력을 입증하였다.
• 동분산 변형은 성능 저하 없이 파라미터 수를 감소시켜 더 단순한 대안을 제공하였다.