[논문 리뷰] StepMix: A Python Package for Pseudo-Likelihood Estimation of Generalized Mixture Models with External Variables

Sacha Morin, Robin Legault외 5명|arXiv (Cornell University)|2023. 04. 07.

Bayesian Methods and Mixture Models인용 수 8

한 줄 요약

StepMix는 공변량과 원거리 결과를 갖는 일반화된 유한 혼합모형에 대해 편향 보정된 한 단계, 두 단계, 세 단계 의사 우도 추정기를 구현하는 오픈 소스 파이썬 패키지로, scikit-learn 스타일 API 및 R 래퍼를 제공합니다.

ABSTRACT

StepMix is an open-source Python package for the pseudo-likelihood estimation (one-, two- and three-step approaches) of generalized finite mixture models (latent profile and latent class analysis) with external variables (covariates and distal outcomes). In many applications in social sciences, the main objective is not only to cluster individuals into latent classes, but also to use these classes to develop more complex statistical models. These models generally divide into a measurement model that relates the latent classes to observed indicators, and a structural model that relates covariates and outcome variables to the latent classes. The measurement and structural models can be estimated jointly using the so-called one-step approach or sequentially using stepwise methods, which present significant advantages for practitioners regarding the interpretability of the estimated latent classes. In addition to the one-step approach, StepMix implements the most important stepwise estimation methods from the literature, including the bias-adjusted three-step methods with Bolk-Croon-Hagenaars and maximum likelihood corrections and the more recent two-step approach. These pseudo-likelihood estimators are presented in this paper under a unified framework as specific expectation-maximization subroutines. To facilitate and promote their adoption among the data science community, StepMix follows the object-oriented design of the scikit-learn library and provides an additional R wrapper.

연구 동기 및 목표

• 외부 변수(공변량 및 원거리 결과)가 있는 일반화된 유한 혼합 모형을 추정하기 위한 오픈 소스 파이썬 패키지를 제공한다.
• 단일 단계와 편향 보정된 단계적 추정기(두 단계와 세 단계)를 EM 기반 프레임워크 내에서 통합적으로 제공한다.
• 잠재 클래스의 해석 가능성을 높이기 위해 측정 모델과 구조 모델의 분리를 가능하게 하는 단계적 추정을 통해 해석 가능성을 promote 한다.
• Python과 R 간의 사용성 다리를 제공하여 데이터 과학 커뮤니티의 채택을 촉진하기 위해 래퍼와 scikit-learn 스타일의 인터페이스를 제공한다.

제안 방법

• 측정 모델(MM)과 구조 모델(SM)을 완전한 모델(CM) 내에서 가능도와 의사 가능도(formulations)를 하나로 통합한다.
• EM 알고리즘 기반의 하위 루틴을 구현하여 한 단계, 두 단계, 편향 보정된 3단계 추정을 의사 가능도로 수행한다.
• EM 프레임워크 내에서 FIML(전체 정보 최대 가능도)을 통해 결측 데이터를 지원한다.
• E-단계에서 CM 매개변수를 업데이트하고, tau(i,k) = P(X=i|관측치; 현재 매개변수)를 클래스의 책임으로 제공한다.
• scikit-learn과 맞춤형 객체 지향 API를 제공하고, broader 접근성을 위한 R 래퍼를 제공한다.
• 공변량 Z^p, 지시자 Y, 원거리 결과 Z^o를 조건부 독립으로 가정하는 경우를 포함해 다루며, 이들 변수를 다룬다.

실험 결과

연구 질문

• RQ1 일반화된 혼합 모형에서 외부 변수와 함께 편향 보정된 단계별 추정기를 단일 EM 프레임워크 내에서 어떻게 구현할 수 있는가?
• RQ2 한 단계 추정기와 단계별 추정기(두 단계 및 세 단계)의 해석 가능성 및 추정 안정성 측면의 실용적·이론적 이점은 무엇인가?
• RQ3 오픈 소스 파이썬 소프트웨어가 편향 보정된 세 단계 추정기를 견고하게 구현하고 공변량 및 비가우시안 구성 요소를 지원할 수 있는가?
• RQ4 StepMix가 기능, 접근성, API 설계 측면에서 기존의 R 및 Python 패키지와 비교하여 어떤 차이와 이점을 제공하는가?

주요 결과

• StepMix는 공변량과 가우시안 및 비가우시안 구성 요소를 갖는 일반화된 혼합 모형에 대해 편향 보정된 세 단계 추정기의 오픈 소스 구현을 제공한다.
• 이 패키지는 한 단계, 두 단계 및 3단계 추정을 EM 기반 의사 가능도 프레임워크 내에서 구현하며, 결측 데이터를 위한 FIML도 포함한다.
• StepMix는 scikit-learn API를 따르며, 파이썬의 ML 도구와의 원활한 통합을 가능하게 하며 R 래퍼도 제공한다.
• Python에서 편향 보정된 3단계 방법을 원활하게 구현하고 의사 가능도 추정으로 혼합 모형을 가능하게 하는 최초의 오픈 소스 패키지이다.
• 도구는 측정 모델과 구조 모델의 분리를 통해 해석 가능성을 높이고, 원거리 결과와의 혼합 정의를 혼동하지 않고 탐색적 분석을 촉진한다.