[논문 리뷰] Dimension-Grouped Mixed Membership Models for Multivariate Categorical Data

Yuqi Gu, Elena A. Erosheva외 2명|PubMed|2021. 09. 24.

Bayesian Methods and Mixture Models참고 문헌 56인용 수 9

한 줄 요약

이 논문은 다변량 범주형 데이터를 위한 잠재 구조 모델의 새로운 클래스인 차원-군집화 혼합 구성 모델(Gro-M³s)을 제안한다. 이 모델은 변수를 소수의 차원으로 군집화하여 해석 가능성과 단순성(파라미터 수의 감소)을 향상시킨다. 모델을 확률적 텐서 분해 구조로 정의하고 크루스칼 정리(Kruskal’s theorem)를 활용하여 군집화 구조와 모델 파라미터의 고유한 식별 조건을 명확히 규명하였으며, 시뮬레이션 및 실제 데이터 응용에서 이들 구성 요소를 성공적으로 복원하는 베이지안 MCMC 알고리즘을 개발하였다.

ABSTRACT

Mixed Membership Models (MMMs) are a popular family of latent structure models for complex multivariate data. Instead of forcing each subject to belong to a single cluster, MMMs incorporate a vector of subject-specific weights characterizing partial membership across clusters. With this flexibility come challenges in uniquely identifying, estimating, and interpreting the parameters. In this article, we propose a new class of <i>Dimension-Grouped</i> MMMs ( <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mtext>Gro-</mml:mtext> <mml:msup><mml:mtext>M</mml:mtext> <mml:mn>3</mml:mn></mml:msup> <mml:mtext>s</mml:mtext></mml:mrow> </mml:math> ) for multivariate categorical data, which improve parsimony and interpretability. In <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mtext>Gro-</mml:mtext> <mml:msup><mml:mtext>M</mml:mtext> <mml:mn>3</mml:mn></mml:msup> <mml:mtext>s</mml:mtext></mml:mrow> </mml:math> , observed variables are partitioned into groups such that the latent membership is constant for variables within a group but can differ across groups. Traditional latent class models are obtained when all variables are in one group, while traditional MMMs are obtained when each variable is in its own group. The new model corresponds to a novel decomposition of probability tensors. Theoretically, we derive transparent identifiability conditions for both the unknown grouping structure and model parameters in general settings. Methodologically, we propose a Bayesian approach for Dirichlet <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mrow><mml:mtext>Gro-</mml:mtext> <mml:msup><mml:mtext>M</mml:mtext> <mml:mn>3</mml:mn></mml:msup> <mml:mtext>s</mml:mtext></mml:mrow> </mml:math> to inferring the variable grouping structure and estimating model parameters. Simulation results demonstrate good computational performance and empirically confirm the identifiability results. We illustrate the new methodology through applications to a functional disability survey dataset and a personality test dataset.

연구 동기 및 목표

• 기존 다변량 범주형 데이터를 위한 혼합 구성 모델(MMMs)에서의 해석 가능성 부족과 식별성 문제를 해결하기 위해.
• 변수를 소수의 잠재 차원 군집으로 묶어 구성 비율이 군집 내에서 일정하지만 군집 간으로는 다를 수 있도록 하여 모델의 단순성(파라미터 수의 감소)을 향상시키기 위해.
• 관측된 데이터로부터 군집화 구조와 모델 파라미터가 고유하게 식별될 수 있는 이론적 조건을 명확하게 규명하기 위해.
• 디리클레 분포를 가정한 디리클레 Gro-M³s에 대해 메트로폴리스-해스팅스 내부 기반의 기반으로 하는 효율적인 베이지안 추론 절차를 개발하기 위해.
• 실제 설문조사 및 성격 검사 데이터 세트에서의 모델 성능을 실증적으로 평가하여, 그룹화 구조와 파라미터 구조를 정확히 복원함을 보여주기 위해.

제안 방법

• p개의 관측 변수를 G ≪ p개의 군집으로 분할하고, 각 군집 내에서 공통된 잠재 구성 비율 벡터를 사용하는 새로운 모델 구조를 제안한다.
• 공동 확률 분포를 구조화된 텐서 곱으로 모델링하여 확률적 텐서 분해 관점에서 접근한다.
• 3차원 텐서 분해에 대한 크루스칼 정리를 활용하여 군집 매트릭스 L과 조건부 확률 테이블 Λ의 고유한 식별 조건을 도출한다.
• 개별 주체의 혼합 구성 비율이 디리클레 분포를 따른다고 가정하여, 디리클레 Gro-M³ 모델을 도출한다.
• 메트로폴리스-해스팅스 내부 기반의 기반으로 하는 MCMC 알고리즘을 개발하여 변수 군집화 구조, 모델 파라미터, 개인별 구성 비율을 동시에 추론한다.
• 기능적 장애 및 성격 검사 데이터 세트에 이 알고리즘을 적용하여 강력한 실증 성능과 진짜 구조의 복원 능력을 입증한다.

실험 결과

연구 질문

• RQ1 변수를 소수의 잠재 차원 군집으로 묶음으로써, 다변량 범주형 데이터를 위한 혼합 구성 모델의 해석 가능성과 단순성을 향상시킬 수 있는가?
• RQ2 제안된 Gro-M³ 프레임워크에서 변수 군집화 구조와 모델 파라미터가 어떤 조건에서 식별 가능한가?
• RQ3 베이지안 MCMC 알고리즘이 고차원의 범주형 데이터에서 군집화 구조와 연속적인 모델 파라미터를 효과적으로 추론할 수 있는가?
• RQ4 기존의 표준 MMMs나 텐서 분해 방법에 비해 제안된 모델이 실제 데이터의 잠재 구조를 얼마나 잘 복원하는가?
• RQ5 모델을 종단형 또는 비모수적 설정으로 확장할 수 있으며, 설문 조사 분석이나 네트워크 모델링과 같은 실세계 응용에 미치는 영향은 무엇인가?

주요 결과

• 제안된 Gro-M³ 모델은 변수를 소수의 잠재 차원 군집으로 묶어 구성 비율이 군집 내에서 일정한 방식으로, 군집 간으로는 다를 수 있도록 함으로써 해석 가능성을 향상시켰다.
• 텐서 분해 구조를 활용하고 크루스칼 정리를 적용하여, 군집화 및 파라미터 구성 요소의 고유한 복원이 보장되는 조건을 명확히 규명함으로써 이론적 식별성을 확립하였다.
• 시뮬레이션 결과는 베이지안 MCMC 알고리즘이 진짜 변수 군집화 구조와 모델 파라미터를 정확히 복원함을 확인하였으며, 이는 식별성 조건의 실증적 검증을 제공한다.
• 실제 데이터 응용에서는 기능적 장애 설문지와 성격 검사 데이터 세트에서 의미 있는 항목 군집을 성공적으로 포착하였으며, 항목 간 의존성 구조를 복원하는 데서 표준 텐서 분해 방법보다 뛰어난 성능을 보였다.
• MCMC 알고리즘은 뛰어난 계산 성능를 보이며, 고유성(식별성 보장)이 보장되는 새로운 베이지안 텐서 분해로 볼 수 있다.
• 군집화된 항목이 시간적으로 연속적이도록 제약을 두어 종단형 설정으로 모델을 확장할 수 있으며, 이러한 수정 조건 하에서도 식별성 결과가 그대로 적용된다.