[논문 리뷰] Bayesian Paired-Comparison with the bpcs Package

David Issa Mattos, Érika Martins Silva Ramos|arXiv (Cornell University)|2021. 01. 27.

Statistical Methods and Bayesian Inference참고 문헌 49인용 수 4

한 줄 요약

이 논문은 행동 연구에서 이원 비교 데이터의 강력하고 유연한 분석을 위한 Stan을 사용하는 베이지안 이원 비교 모델을 구현하는 bpcs R 패키지를 소개한다. 이 모델은 식별 불가능한 우도 상황에서도 추정이 가능하며, 신뢰구간, 비기록(동점), 순서 효과를 처리하고, 랭킹과 이원 비교 확률에 대한 사후 추론을 제공한다. 세 개의 연구 재분석을 통해 베이지안 접근 방식은 빈도주의 접근 방식에 비해 모형 안정성과 해석 가능성에서 향상됨을 보여주었다.

ABSTRACT

This article introduces the bpcs R package (Bayesian Paired Comparison in Stan) and the statistical models implemented in the package. This package aims to facilitate the use of Bayesian models for paired comparison data in behavioral research. Bayesian analysis of paired comparison data allows parameter estimation even in conditions where the maximum likelihood does not exist, allows easy extension of paired comparison models, provide straightforward interpretation of the results with credible intervals, have better control of type I error, have more robust evidence towards the null hypothesis, allows propagation of uncertainties, includes prior information, and perform well when handling models with many parameters and latent variables. The bpcs package provides a consistent interface for R users and several functions to evaluate the posterior distribution of all parameters, to estimate the posterior distribution of any contest between items, and to obtain the posterior distribution of the ranks. Three reanalyses of recent studies that used the frequentist Bradley-Terry model are presented. These reanalyses are conducted with the Bayesian models of the bpcs package, and all the code used to fit the models, generate the figures, and the tables are available in the online appendix.

연구 동기 및 목표

• 빈도주의 이원 비교 모델의 한계를 해결하기 위해, 최대우도 추정에서 식별 불가능한 추정치와 유형 I 오류 통제가 불량한 문제를 해결한다.
• 빈도주의 Bradley-Terry 모델 및 그 확장 모델에 대한 종합적이고 사용자 友好的한 베이지안 대안을 제공한다.
• 연구자가 사전 지식을 통합하고, 잠재변수를 다루며, 매개변수 추정치의 불확실성을 전파할 수 있도록 한다.
• 이원 비교, 랭킹, 모형 예측에 대한 사후 추론 도구를 제공하며, 신뢰구간을 포함한다.
• 세 개의 실제 행동과학 연구 재분석을 통해 베이지안 모델링의 장점을 입증한다.

제안 방법

• 매개변수의 사후 분포 추정을 위해 마르코프 체인 몬테카를로(MCMC) 샘플링을 사용하는 Stan 기반 완전한 베이지안 추론을 사용한다.
• 베이지안 Bradley-Terry 모델 및 그 확장 모델을 구현하며, 동점 결과를 위한 Davidson 모델과 순서 효과를 고려한 모델을 포함한다.
• 개별 주체별 예측변수(예: HLOC 척도)를 포함한 계층적 모델링과 항목 수준의 공변량을 위한 일반선형모형을 지원한다.
• 항목 간 랭킹과 이원 비교의 사후 확률을 계산하는 기능을 제공한다.
• 높은 사후 밀도(HPD) 구간을 사용하여 신뢰구간 추정 및 모형 진단을 수행한다.
• 모형 피팅, 사후 요약, 결과 시각화를 위한 일관된 R 인터페이스를 제공한다.

실험 결과

연구 질문

• RQ1 최대우도 추정이 실패할 경우, 베이지안 모델링은 이원 비교 데이터에서 매개변수 추정을 어떻게 향상시킬 수 있는가?
• RQ2 유형 I 오류 통제 및 귀무가설에 대한 증거 측면에서 베이지안 접근 방식은 어떤 이점을 제공하는가?
• RQ3 HLOC 척도의 주체별 예측변수(예: 내재성)는 역할 선호 과제에서 한 역할을 다른 역할보다 선택할 확률에 어떤 영향을 미치는가?
• RQ4 동점과 순서 효과와 같은 모형 확장은 실제 행동 데이터에서 적합도와 해석 가능성에 얼마나 기여하는가?
• RQ5 신뢰구간과 비교했을 때, 사후 분포 기반의 랭킹과 이원 비교 결과는 불확실성과 강건성 측면에서 빈도주의 점 추정치에 비해 어떻게 다른가?

주요 결과

• 최대우도 추정이 실패하는 경우에도 베이지안 모델은 매개변수 추정에 성공하여 희소하거나 비균형적인 데이터에서 강건함을 입증했다.
• 역할 선호 연구에서 평균에서 두 표준편차 아래로 내재성 HLOC를 가진 주체는 '수동'보다 '수동'을 선택할 확률이 0.80이었으며, 평균 주체의 0.88과 비교해 작은 그러나 측정 가능한 영향을 보였다.
• '의사' HLOC 척도에서 두 표준편차 이상 높은 주체의 경우, '수동'보다 '수동'을 선택할 확률은 0.78로 감소하여 약간의 영향을 보였다.
• 평균 주체의 경우 '협동'보다 '수동-협동'을 선택할 사후 확률은 0.98이었고, '기회' HLOC가 두 표준편차 이상 높은 주체에서는 0.94로 감소하였다.
• 주체별 예측변수를 포함한 모형은 적합도를 향상시켰지만, 선택 확률의 차이에 기여한 것은 예측변수 자체보다 기본 역할 계수의 기여가 더 컸다.
• 모든 재분석 결과에서 베이지안 모형은 신뢰구간과 사후 예측 분포를 통해 더 명확하고 해석 가능한 불확실성 추정치를 제공함을 입증했다.