[논문 리뷰] Fitting Bayesian item response models in Stata and Stan

Robert Grant, Bob Carpenter외 2명|arXiv (Cornell University)|2016. 01. 13.

Bayesian Modeling and Causal Inference참고 문헌 3인용 수 4

한 줄 요약

이 논문은 Stata의 bayesmh와 StataStan을 사용하여 베이지안 항목 반응 모델링을 비교하며, StataStan이 스탠의 하미르톤 몬테카를로 및 no-U-turn 샘플러에 기반하여 복잡한 계층적 라쉬 모델에서 특히 뛰어난 속도, 효율성, 확장성 을 제공함을 보여준다. StataStan은 효과적인 추출 당 샘플링 속도가 bayesmh보다 최대 24.1배 빠르며, 특히 더 큰 모델과 병렬 처리 지원에서 뛰어난 성능을 발휘한다.

ABSTRACT

Stata users have access to two easy-to-use implementations of Bayesian inference: Stata’s native bayesmh command and StataStan, which calls the general Bayesian engine, Stan. We compare these implementations on two important models for education research: the Rasch model and the hierarchical Rasch model. StataStan fits a more general range of models than can be fit by bayesmh and uses a superior sampling algorithm, that is, Hamiltonian Monte Carlo using the no-Uturn sampler. Furthermore, StataStan can run in parallel on multiple CPU cores, regardless of the flavor of Stata. Given these advantages and given that Stan is open source and can be run directly from Stata do-files, we recommend that Stata users interested in Bayesian methods consider using StataStan.

연구 동기 및 목표

• Stata의 내장된 bayesmh와 StataStan을 사용하여 베이지안 항목 반응 모델을 맞추는 데 있어 성능을 평가하고 비교하는 것.
• 라쉬 모델과 계층적 라쉬 모델에서 계산 효율성, 샘플링 속도, 효과적 샘플 크기를 평가하는 것.
• StataStan의 고급 샘플링 알고리즘과 병렬 처리 기능이 bayesmh의 메트로폴리스-하스팅스 및 지브스 샘플링에 비해 실질적인 이점을 제공하는지 판단하는 것.
• 교육 및 사회과학 연구에서 복잡한 베이지안 모델링을 위해 Stata 사용자들이 StataStan을 어떻게 도입할 수 있을지 실용적인 지침을 제공하는 것.

제안 방법

• 동일한 데이터와 사전 확률을 사용하여 bayesmh와 StataStan을 모두 활용해 라쉬 모델과 계층적 라쉬 모델을 구현하는 것.
• StataStan에서 효율적인 사후 분포 샘플링을 위해 no-U-turn 샘플러(NUTS)를 사용한 하미르톤 몬테카를로를 적용하는 것.
• 동일한 초기값을 사용하여 두 소프트웨어 모두에서 네 개의 병렬 체인을 실행하여 비교 가능성을 확보하는 것.
• 주요 매개변수(σ², τ², µ)에 대해 총 시간, 시뮬레이션 전용 시간, 그리고 1초당 효과적 샘플 크기를 측정하는 것.
• 모델 크기(P = 100에서 10,000명의 피험자까지)에 따라 비교하고, 무작위 효과와 병렬 처리의 영향을 평가하는 것.
• Stata에서 텍스트 기반의 스탠 코드를 통해 표준 편차에 대한 스탠의 기본 균일 사전 확률과 맞춤형 모델 명세를 사용하는 것.

실험 결과

연구 질문

• RQ1 계산 효율성과 효과적 샘플 크기를 기준으로, bayesmh와 StataStan은 라쉬 모델을 맞출 때 어떻게 비교되는가?
• RQ2 모델 크기가 증가함에 따라 StataStan은 계층적 라쉬 모델의 샘플링 효율성에서 bayesmh를 뛰어넘는가?
• RQ3 StataStan의 병렬 계산은 순차 실행과 bayesmh가 Stata/MP 없이 병렬 체인을 사용할 수 없는 제약 조건을 고려할 때 성능 향상에 얼마나 기여하는가?
• RQ4 결과는 사전 확률 설정에 얼마나 민감한가? StataStan의 기본 사전 처리 방식은 안정성 향상에 기여하는가?
• RQ5 bayesmh에서 무작위 효과 옵션을 사용할 경우 샘플링 효율성과 효과적 샘플 크기에 어떤 영향을 미치는가?

주요 결과

• 계층적 라쉬 모델에서 σ²에 대해 StataStan은 총 시간 기준 2.4~14.1배, 시뮬레이션 전용 시간 기준 3.5~24.1배 빠르게 작동했다.
• τ²에 대해서는 StataStan이 총 시간 기준 0.6~2.8배, 시뮬레이션 전용 시간 기준 0.8~6.9배 더 빠르게 작동했다.
• µ의 초모수는 대부분의 경우 bayesmh가 더 효율적으로 샘플링했지만, StataStan은 시뮬레이션 전용 시간 기준 최대 8.9배 빠르게 작동했다.
• 무작위 효과 옵션 없이 실행할 경우, bayesmh는 효과적 샘플 크기를 동일하게 확보하기 위해 σ²와 τ²에 대해 200~500배 더 오랜 시간이 소요되었다.
• StataStan의 병렬 실행은 총 시간을 약 50% 감소시켰다(예: P=1000인 라쉬 모델에서 734초에서 383초로 감소), 반면 bayesmh는 Stata/MP 없이 병렬 체인을 사용할 수 없었다.
• StataStan의 모델 컴파일 오버헤드는 더 큰 모델에서는 성능 향상에 비해 상쇄되어 전체적으로 더 효율적인 성능을 발휘했다.