[논문 리뷰] Warped Mixtures for Nonparametric Cluster Shapes

Tomoharu Iwata, David Duvenaud외 1명|arXiv (Cornell University)|2014. 08. 09.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 14

한 줄 요약

이 논문은 비모수 베이지안 모델인 Warped Mixtures를 제안한다. 이 모델은 비선형 변환을 통해 저차원 혼합 정규분포를 왜곡함으로써 다소 구형이 아닌 유연한 군집 형태를 학습한다. 혼합 및 왜곡 파라미터를 분석적으로 적분함으로써 모델은 군집의 수, 형태, 차원 수를 자동으로 추론하며, 고차원 데이터에서 군집 복구 및 밀도 추정에서 무한 정규분포 혼합모델보다 뛰어난 성능을 보인다.

ABSTRACT

A mixture of Gaussians fit to a single curved or heavy-tailed cluster will report that the data contains many clusters. To produce more appropriate clusterings, we introduce a model which warps a latent mixture of Gaussians to produce nonparametric cluster shapes. The possibly low-dimensional latent mixture model allows us to summarize the properties of the high-dimensional clusters (or density manifolds) describing the data. The number of manifolds, as well as the shape and dimension of each manifold is automatically inferred. We derive a simple inference scheme for this model which analytically integrates out both the mixture parameters and the warping function. We show that our model is effective for density estimation, performs better than infinite Gaussian mixture models at recovering the true number of clusters, and produces interpretable summaries of high-dimensional datasets.

연구 동기 및 목표

• 고차원 데이터에서 비구형 또는 꼬리가 두꺼운 군집 형태를 포괄하지 못하는 정규분포 혼합모델의 한계를 해결하기 위해.
• 사전 지정 없이 진짜 군집 수와 그 내재된 저차원 다양체를 추론할 수 있는 비모수적 방법을 개발하기 위해.
• 군집을 왜곡된 다양체로 모델링하여 고차원 데이터셋에서 해석 가능한 군집화와 밀도 추정을 가능하게 하기 위해.
• 혼합 및 왜곡 파라미터를 분석적으로 통합하여 비용이 많이 드는 MCMC 샘플링을 피하는 효율적인 추론 기법을 도출하기 위해.

제안 방법

• 모델은 저차원 공간에서 잠재 혼합 정규분포를 사용하여 군집 구조를 표현한다.
• 비선형 왜곡 함수는 잠재 정규분포를 관측 공간에서 복잡한 비모수적 군집 형태로 변환한다.
• 유연한 형태 학습을 가능하게 하기 위해 왜곡 함수를 비모수적으로 가우시안 프로세스로 모델링한다.
• 군집 수와 다양체 차원 수의 자동 추론을 가능하게 하기 위해 비공액 계층형 사전분포를 사용한다.
• 혼합 가중치와 왜곡 함수를 모두 분석적으로 통합하는 새로운 추론 기법을 도입하여 MCMC 샘플링을 피한다.
• 결과적으로 후행분포는 변분 근사법을 통해 계산되어 고차원 데이터에서의 확장 가능한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고정된 매개수 형태를 가정하지 않고 비모수 베이지안 모델이 복잡한 비구형 군집 형태를 학습할 수 있는가?
• RQ2 모델은 고차원 데이터에서 군집 수와 그 내재된 차원 수를 자동으로 추론할 수 있는가?
• RQ3 잠재 정규분포 혼합모델을 왜곡함으로써 표준 무한 정규분포 혼합모델보다 군집 복구 및 밀도 추정 성능이 향상되는가?
• RQ4 모델은 고차원 데이터 다양체의 해석 가능한 저차원 요약을 생성할 수 있는가?

주요 결과

• Warped Mixture 모델은 군집이 곡선형이거나 꼬리가 두꺼운 구조를 띠는 시뮬레이션 데이터에서 진짜 군집 수 복구 성능이 무한 정규분포 혼합모델보다 뚜렷이 뛰어나다.
• 사전 지식 없이도 고차원 환경에서도 정확한 군집 수와 내재된 차원 수를 성공적으로 추론한다.
• 혼합 및 왜곡 파라미터에 대한 분석적 적분은 MCMC 기반 대안보다 더 빠르고 안정적인 추론을 가능하게 한다.
• 실제 데이터셋에서 정확한 밀도 추정을 수행하여 더 높은 가능도와 군집화 성능을 입증한다.