[논문 리뷰] Escaping the curse of dimensionality in Bayesian model based clustering

Noirrit Kiran Chandra, Antonio Canale외 1명|PubMed|2020. 06. 04.

Bayesian Methods and Mixture Models참고 문헌 58인용 수 15

한 줄 요약

이 논문은 베이지안 모델 기반 클러스터링의 근본적인 문제를 규명한다: 데이터 차원이 증가함에 따라 사후 분포는 진짜 클러스터링 구조와는 무관하게 항상 하나의 클러스터 또는 관측치 하나당 하나의 클러스터로 수렴하는 경향이 있다. 이를 해결하기 위해 저자들은 고차원 데이터를 저차원 잠재 공간으로 투영하는 잠재변수 모델(Lamb)을 제안한다. 이 모델은 온건한 정규성 조건 하에서 차원의 저주를 피할 수 있는 강건한 클러스터링을 가능하게 한다.

ABSTRACT

Bayesian mixture models are widely used for clustering of high-dimensional data with appropriate uncertainty quantification. However, as the dimension of the observations increases, posterior inference often tends to favor too many or too few clusters. This article explains this behavior by studying the random partition posterior in a non-standard setting with a fixed sample size and increasing data dimensionality. We provide conditions under which the finite sample posterior tends to either assign every observation to a different cluster or all observations to the same cluster as the dimension grows. Interestingly, the conditions do not depend on the choice of clustering prior, as long as all possible partitions of observations into clusters have positive prior probabilities, and hold irrespective of the true data-generating model. We then propose a class of latent mixtures for Bayesian clustering (Lamb) on a set of low-dimensional latent variables inducing a partition on the observed data. The model is amenable to scalable posterior inference and we show that it can avoid the pitfalls of high-dimensionality under mild assumptions. The proposed approach is shown to have good performance in simulation studies and an application to inferring cell types based on scRNAseq.

연구 동기 및 목표

• 고차원 클러스터링에서 베이지안 혼합모델이 실패하는 이유를 조사한다. 특히 p ≫ n일 경우에 중점적으로 다룬다.
• 차원이 증가함에 따라 클러스터 수가 1 또는 n으로 수렴하는 사후 분포의 붕괴 원인을 규명한다.
• 이러한 붕괴 현상이 모든 분할에 양의 사전확률를 부여하는 클러스터링 사전분포를 사용하는 한, 사전분포의 선택과는 무관하게 발생함을 보여준다.
• 고차원 환경에서 표준 베이지안 클러스터링의 대체로 확장 가능하고 강건한 방법을 개발한다.
• 시뮬레이션 데이터와 단일세포 RNA-Seq 데이터를 활용해 제안된 방법을 검증하고, 기존 방법보다 향상된 성능을 보임을 보여준다.

제안 방법

• 고차원 관측 데이터에 직접 작용하는 대신 저차원 잠재변수를 통해 클러스터링을 유도하는 잠재 혼합모델(Lamb)을 제안한다.
• 관측 데이터를 저차원 잠재변수 조건 하에서 조건부로 독립적으로 모델링하고, 잠재공간에서 다변량 정규분포를 사용한다.
• 잠재성분의 평균과 공분산에 대해 공액 사전분포를 사용하는 계층적 사전분포 구조를 도입하여 효율적인 사후분포 계산을 가능하게 한다.
• 잠재 클러스터 할당에 대해 딜레트리 프로세스 또는 유한 혼합 사전분포를 사용하여 알려지지 않은 유연한 클러스터 수를 허용한다.
• 잠재모델 하에서 관측데이터의 주변부확률을 닫힌 형태로 근사하는 방법을 도출하여 확장 가능한 MCMC 추론을 가능하게 한다.
• 이론적으로 고차원에서 사후분포가 붕괴를 피할 수 있는 조건을 규명하고, 잠재구조가 클러스터링 행동을 안정화시킴을 보여준다.

실험 결과

연구 질문

• RQ1 고정된 표본 크기 n에서 차원 수 p가 증가함에 따라 베이지안 혼합모델의 사후 추론이 관측치 하나당 하나의 클러스터 또는 모든 관측치가 하나의 클러스터에 속하게 되는 이유는 무엇인가?
• RQ2 이러한 붕괴 현상은 사전분포의 선택 때문인가, 아니면 고차원 환경에서 모델 구조 자체의 본질적인 문제인가?
• RQ3 잠재변수 표현은 베이지안 클러스터링에서 차원의 저주를 완화하면서도 불확실성 측정을 유지할 수 있는가?
• RQ4 p → ∞일 때 클러스터 수의 사후분포가 어떤 조건에서 잘 행동하는가?
• RQ5 제안된 잠재 혼합모델(Lamb)은 실제 세계 데이터에서 표준 고차원 베이지안 혼합모델보다 더 나은 클러스터링 성능을 달성할 수 있는가?

주요 결과

• 표준 베이지안 혼합모델에서 클러스터 수의 사후분포는 고정된 표본 크기 n에서 차원 수 p가 증가함에 따라 항상 1 또는 n에 집중된다.
• 이러한 붕괴 현상은 모든 분할에 양의 사전확률를 부여하는 한, 사전분포의 선택과는 무관하게 발생하며, 오직 MCMC 혼합 문제 때문만은 아니다.
• 이론적 분석 결과, 사전모수에 대한 온건한 가정 하에서, k_n = 1과 k_n = n 사이의 주변부확률 비율은 p → ∞일 때 무한대로 발산한다.
• 저차원 잠재변수를 통해 클러스터링을 수행하는 제안된 Lamb 모델은 이러한 붕괴를 피하고 온건한 정규성 조건 하에서 안정적인 사후 클러스터링 행동을 유지한다.
• 시뮬레이션 연구 결과, Lamb는 고차원 환경에서 표준 딜레트리 프로세스 혼합모델보다 더 높은 클러스터링 정확도와 더 안정적인 클러스터 복원 성능을 보였다.
• 단일세포 RNA-Seq 데이터에 대한 응용에서 Lamb는 생물학적으로 의미 있는 세포유형을 성공적으로 추론했으며, 표준 베이지안 클러스터링 방법보다 뛰어난 성능을 보였다.