[논문 리뷰] Infinite Mixtures of Infinite Factor Analysers: Nonparametric Model-Based Clustering via Latent Gaussian Models

Keefe Murphy, Isobel Claire Gormley외 1명|arXiv (Cornell University)|2017. 01. 24.

Metabolomics and Mass Spectrometry Studies인용 수 3

한 줄 요약

이 논문은 수축 우선분포와 딜리클 과정을 사용하여 고차원 데이터에서 군집 수와 군집별 잠재因자 수를 동시에 추론하는 비모수 베이지안 모델인 무한 혼합 인공 요인 분석기(Infinite Mixtures of Infinite Factor Analysers, IMIFA)를 제안한다. 이 방법은 사전에 모델 차원을 지정하지 않고도 자동으로 적응형 군집화를 가능하게 하며, 스틱 브레이킹 구조와 슬라이스 샘플링을 통해 효율적인 사후 추론을 수행한다.

ABSTRACT

Gaussian mixture models for high-dimensional data often assume a factor analytic covariance structure within each mixture component. When clustering via such mixtures of factor analysers (MFA), the numbers of clusters and latent factors must be specified in advance of model fitting, and remain fixed. The pair which optimises some model selection criterion are usually chosen. Within such a computationally intensive model search, only models in which the number of factors is common across clusters are generally considered. Here the mixture of infinite factor analysers (MIFA) is introduced, which allows different clusters to have different numbers of factors through the use of shrinkage priors. The cluster-specific number of factors is automatically inferred during model fitting, via an efficient, adaptive Gibbs sampler. However, the number of clusters still requires selection. Infinite mixtures of infinite factor analysers (IMIFA) is a nonparameteric extension of the MIFA model which uses Dirichlet or Poisson-Dirichlet processes to facilitate automatic, simultaneous inference of the number of clusters and the cluster-specific number of factors. IMIFA provides a flexible approach to fitting mixtures of factor analysers which obviates the need for model selection criteria. Estimation uses the stick-breaking construction and a slice sampler. Application to simulated data, a benchmark dataset, and spectral metabolomic data illustrate the methodology and its performance.

연구 동기 및 목표

• 기존의 혼합 인공 요인 분석기(MFA)가 군집 수와 각 군집의 인자 수를 사전에 지정해야 하는 한계를 해결하기 위해.
• 수축 우선분포를 통해 군집별로 다른 수의 잠재因자 수를 허용하는 유연한 비모수 모델을 개발하기 위해.
• 모델 선택 기준이 필요 없도록 군집 수와 군집별 인자 차원을 동시에 자동으로 추론할 수 있도록 하기 위해.
• 적응형 깁스 샘플링과 스틱 브레이킹 구조를 활용하여 고차원 군집화 작업의 계산 효율성과 확장성을 향상시키기 위해.

제안 방법

• 다양한 군집이 다른 수의 잠재因자 수를 가질 수 있도록 수축 우선분포를 적용한 MIFA 모델을 기반으로 제시한다.
• 디리클 또는 포아송-디리클 과정을 활용하여 군집 수를 비모수적으로 추론함으로써 MIFA를 IMIFA로 확장한다.
• 무한 혼합 성분을 표현하기 위해 스틱 브레이킹 구조를 사용하여 군집 수를 사전에 지정하지 않고도 탄력적인 군집화를 가능하게 한다.
• 사후 분포 계산을 위해 슬라이스 샘플러를 활용하여 군집 및 인자 구성의 무한차원 공간을 효율적으로 탐색할 수 있도록 한다.
• 요인 로딩 행렬에 수축 우선분포를 적용하여 희박성(스퍼스티)을 유도하고, 군집별로 실제 인자 수를 자동으로 결정하도록 한다.
• 단일 MCMC 프레임워크 내에서 군집 할당, 인자 차원, 모델 파라미터를 동시에 갱신하는 적응형 깁스 샘플러를 개발한다.

실험 결과

연구 질문

• RQ1 비모수 베이지안 모델은 고차원 데이터에서 군집 수와 군집별 잠재因자 수를 동시에 추론할 수 있는가?
• RQ2 수축 우선분포와 딜리클 과정의 사용이 고정 인자 수를 가진 MFA 모델에 비해 모델의 탄력성을 어떻게 향상시키는가?
• RQ3 IMIFA는 군집화 응용에서 모델 선택 기준의 필요성을 어느 정도 줄일 수 있는가?
• RQ4 시뮬레이션 데이터, 벤치마크 데이터셋, 실질적인 대사체 분석 데이터에서 IMIFA의 성능은 기존 방법과 비교해 어떻게 다른가?

주요 결과

• IMIFA는 사전 지정이나 모델 선택 기준 없이도 군집 수와 군집별 인자 수를 성공적으로 추론한다.
• 수축 우선분포의 사용으로 인해 각 군집의 실제 인자 수가 자동으로 결정되며, 일부 군집은 다른 군집보다 적은 인자를 가질 수 있다.
• 스틱 브레이킹 구조와 슬라이스 샘플러 덕분에 무한 혼합 공간의 사후 분포 탐색이 효율적이며, 확장 가능한 추론을 지원한다.
• 시뮬레이션 데이터에서 IMIFA는 참값인 군집 수와 인자 수를 정확히 복원했으며, 고정 인자 수를 가진 MFA 모델보다 뛰어난 성능을 보였다.
• 벤치마크 데이터셋에서 IMIFA는 경량화되고 해석 가능한 군집화 구조를 탐지했으며, 경쟁 방법들보다 유의미한 우월성을 보였다.
• 스펙트럼 대사체 분석 데이터에서 IMIFA는 생물학적으로 의미 있는 군집을 드러내었으며, 잠재 차원이 다양한 이질적인 생물학적 하위구조를 반영했다.