[논문 리뷰] Finite mixture model of conditional dependencies modes to cluster categorical data

Matthieu Marbac, Christophe Biernacki외 1명|arXiv (Cornell University)|2014. 02. 20.

Bayesian Methods and Mixture Models참고 문헌 31인용 수 6

한 줄 요약

이 논문은 전통적인 잠재 클래스 모델의 조건부 독립 가정을 완화하기 위해 범주형 변수를 조건부 독립 블록으로 그룹화하는 단순한 유한 혼합 모델인 조건부 모드 모델(CMM)을 제안한다. 각 클래스는 몇몇 주요 모드 교차(모드)로 요약되며, 나머지 확률 질량은 균일하게 분포된다. 이는 조건부 독립 위반으로 인한 과적합의 편향을 줄이고 해석 가능한 군집화를 가능하게 한다.

ABSTRACT

We propose a parsimonious extension of the classical latent class model to cluster categorical data by relaxing the class conditional independence assumption. Under this new mixture model, named Conditional Modes Model, variables are grouped into conditionally independent blocks. The corresponding block distribution is a parsimonious multinomial distribution where the few free parameters correspond to the most likely modality crossings, while the remaining probability mass is uniformly spread over the other modality crossings. Thus, the proposed model allows to bring out the intra-class dependency between variables and to summarize each class by a few characteristic modality crossings. The model selection is performed via a Metropolis-within-Gibbs sampler to overcome the computational intractability of the block structure search. As this approach involves the computation of the integrated complete-data likelihood, we propose a new method (exact for the continuous parameters and approximated for the discrete ones) which avoids the biases of the extsc{bic} criterion pointed out by our experiments. Finally, the parameters are only estimated for the best model via an extsc{em} algorithm. The characteristics of the new model are illustrated on simulated data and on two biological data sets. These results strengthen the idea that this simple model allows to reduce biases involved by the conditional independence assumption and gives meaningful parameters. Both applications were performed with the R package exttt{CoModes}

연구 동기 및 목표

• 범주형 데이터에 적용될 때 조건부 독립 가정으로 인해 발생하는 편향을 해결하기 위해.
• 과도한 매개변수화 없이도 범주형 변수 간의 클래스 내 의존성을 효과적으로 포착할 수 있는 단순하면서도 유연한 모델을 개발하기 위해.
• 기존 방법이 계산적으로 비가능한 고차원 범주형 데이터 설정에서의 모델 선택 및 매개변수 추정을 가능하게 하기 위해.
• 변수 블록 내에서 주요 모드 교차로 특징지어지는 의미 있는 해석 가능한 군집을 식별할 수 있는 방법을 제공하기 위해.
• 실제 생물학적 및 시뮬레이션 데이터에 적용 가능한 실용적 구현을 위해 R 패키지 CoModes를 제공하기 위해.

제안 방법

• 모델은 범주형 변수를 조건부 독립 블록으로 나누며, 각 블록의 분포는 가장 가능성이 높은 모드 교차로 정의된 희박한 다항분포이다.
• 관측되지 않은 모드 조합에 대한 나머지 확률 질량은 균일하게 분포되며, 이는 단순성과 유연성을 유지하면서도 보존한다.
• 조합적 블록 구조와 모드 구성 탐색을 위해 메트로폴리스-내부 기니브 샘플러(Metropolis-within-Gibbs sampler)를 사용하여 계산적 비가용성을 극복한다.
• 연속 매개변수에 대해서는 정확한 방법으로 통합 완전 데이터 우도를 계산하고, 이산 매개변수에 대해서는 근사 방법을 사용하여 BIC 기준에 내재된 편향을 피한다.
• 모델 선택은 이 우도 기반 기준을 통해 수행되며, 이후 최적의 적합 모델에 대해 EM 알고리즘을 사용해 최종 매개변수 추정을 실시한다.
• 블록 구조는 모든 클래스에 동일하게 가정되어 모델의 일반적 식별성을 확보한다.

실험 결과

연구 질문

• RQ1 조건부 독립을 완화하는 유한 혼합 모델이 범주형 데이터의 군집 정확도와 해석 가능성 향상에 기여하는가?
• RQ2 과도한 매개변수화나 계산 비용 없이도 범주형 변수 간의 클래스 내 의존성을 효과적으로 모델링할 수 있는가?
• RQ3 통합 완전 데이터 우도 기반의 제안된 모델 선택 방법이 BIC보다 더 정확한 클래스 수와 블록 구조를 선택하는가?
• RQ4 조건부 독립 위반이 발생할 경우, 기존 잠재 클래스 모델에 비해 CMM이 클래스 수 과대평가를 얼마나 줄이는가?
• RQ5 실제 생물학적 데이터셋에서 CMM은 변수 블록 내 주요 모드 교차로 특징지어지는 의미 있는 해석 가능한 군집을 식별할 수 있는가?

주요 결과

• 조건부 모드 모델(CMM)은 특히 변수들이 조건부로 의존할 경우 조건부 독립 가정으로 인한 편향을 효과적으로 줄였다.
• 시뮬레이션 데이터에서 CMM은 진짜 클래스 수와 블록 구조를 정확히 식별했으며, 기존 잠재 클래스 모델(cim)은 클래스 수를 과대평가했다.
• 생물학적 데이터셋에서 CMM은 세 개의 클래스로 명확하고 해석 가능한 분할을 보였다: 클래스 1(42%)은 악심이나 요추 통증 없음, 클래스 2(34%)는 요추 통증은 있으나 악심 없음, 클래스 3(24%)는 악심과 요추 통증에 발열 및 배뇨통을 동반함.
• 혼동 행렬 분석 결과, CMM의 분할은 특히 주요 클래스(클래스 3)에서 cim의 분할보다 더 일관되고 잘 분리되어 있었다.
• BIC 기준은 모델 선택에서 편향이 있었으며, 제안된 통합 완전 데이터 우도 기반 방법이 더 정확한 결과를 제공했다.
• R 패키지 CoModes는 모델을 성공적으로 구현하여 시뮬레이션 및 실제 데이터에서 재현 가능한 분석과 매개변수 추정을 가능하게 했다.