[논문 리뷰] BFpack: Flexible Bayes Factor Testing of Scientific Theories in R

Joris Mulder, Xin Gu외 11명|Research portal (Tilburg University)|2019. 11. 18.

Advanced Statistical Methods and Models참고 문헌 13인용 수 7

한 줄 요약

BFpack는 사회과학 및 행동과학 분야에서 흔히 사용되는 통계 모델에 대해 민감한 베이지안 우도비 검정을 가능하게 하는 R 패키지로, 등급 제약(등가 또는 순서 제약)이 있는 탐색적(귀무가설 대 양/음의 효과) 및 확증적 검정을 지원한다. 이 패키지는 lm, glm, lmer와 같은 표준 R 모델링 함수와 원활하게 통합되며, 결측치가 있는 경우에도 이해하기 쉬운 베이지안 우도비와 사후 확률을 제공하여 귀무가설 유의성 검정의 직접적인 대안을 제공한다.

ABSTRACT

There has been a tremendous methodological development of Bayes factors for hypothesis testing in the social and behavioral sciences, and related fields. This development is due to the flexibility of the Bayes factor for testing multiple hypotheses simultaneously, the ability to test complex hypotheses involving equality as well as order constraints on the parameters of interest, and the interpretability of the outcome as the weight of evidence provided by the data in support of competing scientific theories. The available software tools for Bayesian hypothesis testing are still limited however. In this paper we present a new R-package called BFpack that contains functions for Bayes factor hypothesis testing for the many common testing problems. The software includes novel tools (i) for Bayesian exploratory testing (null vs positive vs negative effects), (ii) for Bayesian confirmatory testing (competing hypotheses with equality and/or order constraints), (iii) for common statistical analyses, such as linear regression, generalized linear models, (multivariate) analysis of (co)variance, correlation analysis, and random intercept models, (iv) using default priors, and (v) while allowing data to contain missing observations that are missing at random.

연구 동기 및 목표

• 기존의 귀무가설 유의성 검정을 넘어서는 베이지안 가설 검정의 증가하는 수요를 해결하기 위해.
• 모수에 대한 등가 및 순서 제약 조건이 포함된 다수의 가설에 대해 베이지안 우도비를 계산하는 사용자 友好的 R 패키지를 제공하기 위해.
• 기본 사전분포를 사용하고 결측치를 견고하게 처리함으로써 탐색적 및 확증적 베이지안 검정을 지원하기 위해.
• lm, glm, lmer와 같은 기존의 R 모델링 함수와 통합하여 연구자들이 쉽게 활용할 수 있도록 하기 위해.
• 경쟁적인 과학 이론에 대한 증거를 정량화하는 베이지안 우도비와 사후 확률과 같은 해석 가능한 결과를 제공하기 위해.

제안 방법

• 패키지는 lm, glm, lmer 등에서 생성된 적합된 모델 객체를 수락하고, 경쟁 가설을 지정하는 가설 문자열을 입력하는 단일 통합 함수 BF를 사용한다.
• 확증적 검정의 경우, 모수 간의 등가 및/또는 순서 제약 조건을 지정하는 문자열을 통해 가설을 정의한다 (예: 'beta1 < beta2 < beta3').
• 최근의 위치 모수, 분산 구성요소 및 연관성 척도에 대한 베이지안 검정의 발전에 기반한 기본 사전분포를 사용하여 베이지안 우도비를 계산한다.
• 베이지안 프레임워크 내에서 전체우도 추론을 통합함으로써 결측치가 무작위로 발생하는(MAR) 경우에도 지원한다.
• 사후 확률은 베이지안 우도비와 사전 오즈로부터 유도되며, 이는 다수의 가설 간 직접 비교를 가능하게 한다.
• 기존의 R 모델링 인프라를 활용하여 호환성과 사용의 용이성을 보장한다.

실험 결과

연구 질문

• RQ1 연구자들은 R에서 베이지안 방법을 사용하여 모수에 대한 순서 및 등가 제약 조건을 포함한 복잡한 과학적 가설을 어떻게 검정할 수 있는가?
• RQ2 일반적인 통계 모델에서 순서나 등가 제약 조건이 있는 모델을 포함한 다수의 경쟁 가설에 대해 데이터가 제공하는 상대적 증거는 무엇인가?
• RQ3 해석 가능성과 일관성 측면에서 베이지안 우도비 검정은 전통적인 유의성 검정에 비해 어떻게 비교되는가?
• RQ4 특히 다수준 및 혼합효과 설정에서 결측치가 있는 모델에 대해 베이지안 우도비 검정을 효과적으로 적용할 수 있는가?
• RQ5 확증적 검정에서 데이터를 관찰한 후 과학적 이론에 대한 업데이트된 신념을 사후 확률이 어느 정도 반영하는가?

주요 결과

• TIMSS 2011 응용에서 순서 제약 가설(NL < HR < DE < DK)의 사후 확률은 0.509로, 국가 간 집단내 상관계수에 순서 패턴이 강력하게 지지됨을 나타낸다.
• 모든 ICC가 동일한 가설(등가 가설)의 사후 확률은 0.471로, 순서 가설과 거의 동일한 지지도를 보였다.
• 기타 구성(모든 다른 구성)에 대한 보완 가설의 사후 확률은 0.020으로 낮아, 거의 지지되지 않음을 시사한다.
• ICC의 사후 평균 추정치는 REML 추정치와 유사했으며, 95% 신뢰구간이 REML 값들을 포함하여 안정성과 일관성을 보였다.
• 탐색적 검정은 모든 ICC가 양수임을 확인했으며(사후 확률 = 1.0), 데이터에 대해 다수준 모형의 사용을 지지하였다.
• 패키지는 MAR 가정 하에 결측치를 성공적으로 처리하여 모든 응용에서 정확한 추론을 유지하였다.