[논문 리뷰] Efficient Bayesian Structural Equation Modeling in Stan

Edgar C. Merkle, Ellen Fitzsimmons외 2명|arXiv (Cornell University)|2020. 08. 18.

Advanced Statistical Modeling Techniques참고 문헌 42인용 수 13

한 줄 요약

이 논문은 잠재 변수를 적분하여 제거함으로써 스탠(Stan)에서 베이지안 구조적 방정식 모델링(SEM)을 위한 새로운 효율적인 접근법을 제안한다. 이는 이전의 JAGS 및 스탠 구현 대비 MCMC 샘플링 속도와 효율성을 크게 향상시킨다. 이 방법은 표본 크기가 증가함에 따라 특히 뛰어난 성능을 보이며, 표본 크기에 영향을 받지 않는 고정 차원의 매개변수 공간 덕분이다.

ABSTRACT

Structural equation models comprise a large class of popular statistical models, including factor analysis models, certain mixed models, and extensions thereof. Model estimation is complicated by the fact that we typically have multiple interdependent response variables and multiple latent variables (which may also be called random effects or hidden variables), often leading to slow and inefficient MCMC samples. In this paper, we describe and illustrate a general, efficient approach to Bayesian SEM estimation in Stan, contrasting it with previous implementations in R package blavaan (Merkle & Rosseel, 2018). After describing the approaches in detail, we conduct a practical comparison under multiple scenarios. The comparisons show that the new approach is clearly better. We also discuss ways that the approach may be extended to other models that are of interest to psychometricians.

연구 동기 및 목표

• 스탄과 JAGS에서 기존의 MCMC 기반 베이지안 SEM 추정의 비효율성, 특히 큰 표본이나 복잡한 모델에서의 문제를 해결하기 위해.
• 잠재 변수를 직접 샘플링하지 않고 잠재 변수에 대해 마진화함으로써 샘플링 효율성을 향상시키는 새로운 스탠 기반 접근법을 개발하기 위해.
• 비정규 분포의 결과 변수나 잠재 변수 간 상호작용을 포함한 모델에 대해 더 빠르고 확장 가능한 베이지안 SEM 추정을 가능하게 하기 위해.
• 이전 방법과의 직접 비교가 가능한 실용적이고 오픈소스의 blavaan R 패키지 내 구현을 제공하기 위해.
• 우도의 정보성과 모델 공분산 행렬의 정정성, 그리고 MCMC 샘플링에서 사후 분포 캘리브레이션에 미치는 영향을 탐색하기 위해.

제안 방법

• 잠재 변수를 해석적으로 적분함으로써 매개변수 공간의 차원을 구조적 모델 및 측정 모델의 매개변수로만 줄여, 잠재 변수를 직접 샘플링할 필요 없이 처리한다.
• 관측된 데이터의 마진형 우도를 사용하며, 이는 구조적 및 측정 모델 매개변수로부터 유도된 평균과 공분산 행렬을 가진 다변량 정규분포이다.
• 스탠의 효율적인 하미르톤 몬테카를로(HMC) 샘플러를 활용하기 위해, 마진형 우도와 사전 분포 밀도를 사용하여 공동 사후분포를 비례 상수까지 표현한다.
• 계산적 안정성과 기울기 기반 샘플링의 효율성을 보장하기 위해 재매개변수화된 방식으로 스탠에 모델을 구현한다.
• 두 가지 이전 방법과의 대비를 위해, 잠재 변수를 조건부로 샘플링하는 JAGS 방법과 잠재 변수를 직접 샘플링하는 스탠 방법을 고려한다.
• 구현은 blavaan R 패키지에 통합되어 사용자가 두 방법 간 전환 및 성능 비교가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 스탠에서 잠재 변수를 적분함으로써 기존의 조건부 샘플링 방법에 비해 베이지안 SEM의 MCMC 샘플링 효율성이 크게 향상되는가?
• RQ2 표본 크기가 증가함에 따라 새로운 마진형 접근법의 성능은 조건부 방법과 비교해 어떻게 변화하는가?
• RQ3 우도 분포가 MCMC 샘플링에서 모델이 유도한 공분산 행렬의 정정성에 어떤 영향을 미치는가?
• RQ4 새로운 스탠 기반 방법은 원래의 JAGS 및 스탠 구현 대비 속도와 효율성에서 어떻게 비교되는가?
• RQ5 데이터 보정 기법을 사용해 비정규 관측 변수(예: 순서형 변수)를 다룰 수 있는가?

주요 결과

• 새로운 마진형 스탠 접근법은 blavaan 내 원래의 JAGS 및 이전 스탠 구현보다 뚜렷한 성능 우위를 보이며, 모든 테스트 시나리오에서 훨씬 더 빠르고 효율적이다.
• 표본 크기가 증가함에 따라 샘플링 효율성이 일정하게 유지되며, 이는 잠재 변수의 수가 증가함에 따라 차원이 증가하는 조건부 방법과는 대조된다.
• 더 빠른 수렴과 더 효과적인 사후분포 탐색이 가능함을 확인하였으며, 이는 더 높은 유효 샘플 수와 낮은 R-hat 값으로 나타난다.
• 마진형 접근법은 DIC 및 WAIC와 같은 정보 기준의 신뢰성 있는 계산을 가능하게 하여 모델 비교에 필수적인 요소를 제공한다.
• 정보성 있는 사전 분포는 모델이 유도한 공분산 행렬의 정정성을 부작용적으로 유도할 수 있으며, 이는 사전 정보성과 모델 식별성 간의 직관적이지 않은 상호작용을 드러낸다.
• 비정규 결과 변수(예: 순서형 변수)를 다루기 위한 데이터 보정 기법을 활용한 향후 확장은 가능하며, 이는 방법의 실용적 적용 범위를 더욱 향상시킬 것으로 기대된다.