[논문 리뷰] Power of Mediation Effects Using Bootstrap Resampling

Jason Steffener|arXiv (Cornell University)|2021. 06. 04.

Behavioral and Psychological Studies참고 문헌 18인용 수 8

한 줄 요약

이 논문은 중재 모델에서 통계적 검정력 평가를 위해 대규모 부트스트랩 재표본 시뮬레이션을 개발하고 구현한다. 결과적으로 편향 보정 백분위수 방법이 표준 백분위수 방법보다 약 10명 적은 참여자로 동일한 검정력을 달성함을 보여준다. 단일 및 억제 중재 효과를 포함한 연구 계획을 위한 공개 소스 코드와 결과를 제공하며, 다중 중재자나 조절자가 포함된 복잡한 모델로의 응용 가능성을 제시한다.

ABSTRACT

Mediation analyses are a statistical tool for testing the hypothesis about how the relationship between two variables may be direct or indirect via a third variable. Assessing statistical significance has been an area of active research; however, assessment of statistical power has been hampered by the lack of closed form calculations and the need for substantial amounts of computational simulations. The current work provides a detailed explanation of implementing large scale simulation procedures within a shared computing cluster environment. In addition, all results and code for implementing these procedures is publicly available. The resulting power analyses compare the effects of sample size and strength and direction of the relationships between the three variables. Comparisons of three confidence interval calculation methods demonstrated that the bias-corrected method is optimal and requires approximately ten less participants than the percentile method to achieve equivalent power. Differing strengths of distal and proximal effects were compared and did not differentially affect the power to detect mediation effects. Suppression effects were explored and demonstrate that in the presence of no observed relationship between two variables, entrance of the mediating variable into the model can reveal a suppressed relationship. The power to detect suppression effects is similar to unsuppressed mediation. These results and their methods provide important information about the power of mediation models for study planning. Of greater importance is that the methods lay the groundwork for assessment of statistical power of more complicated models involving multiple mediators and moderators.

연구 동기 및 목표

• 중재 분석에서 닫힌 형식의 검정력 계산이 부족한 문제를 해결하기 위해 확장 가능한 시뮬레이션 기반 검정력 평가 방법을 개발한다.
• 다양한 부트스트랩 신뢰구간 방법(백분위수, 편향 보정, BCa)의 성능을 비교하여 중재 효과를 탐지하는 데에 어떤 영향을 미치는지 분석한다.
• 표본 크기와 효과 크기(경로의 강도와 방향)가 중재 모델에서 통계적 검정력에 어떤 영향을 미치는지 조사한다.
• 억제 효과를 탐지할 수 있는 검정력에 대해 조사한다. 여기서 중재 변수는 이전에 드러나지 않은 관계를 드러낸다.
• 연구 계획 지원 및 다중 중재자 또는 조절자가 포함된 복잡한 모델로의 확장 가능성을 높이기 위해 공개된 소스 코드와 결과를 제공한다.

제안 방법

• 다양한 표본 크기와 효과 크기에서 통계적 검정력을 추정하기 위해 공용 컴퓨팅 클러스터를 활용한 대규모 몬테카를로 시뮬레이션을 수행한다.
• 백분위수, 편향 보정(BC), 편향 보정 및 가속화(BCa)의 세 가지 부트스트랩 신뢰구간 방법을 사용하여 간접 효과를 추정한다.
• 중재 모델에서 간접 효과(ab)의 표집 분포를 추정하기 위해 부트스트랩 재표본 절차를 적용한다.
• 다양한 조건에서 데이터를 시뮬레이션한다: 다양한 표본 크기(n = 50에서 500까지), 효과 크기(경로 a와 b), 방향성(양수/음수 경로).
• 간접 효과의 95% 신뢰구간이 0을 포함하지 않는 반복 수의 비율을 부트스트랩을 통해 추정하여 통계적 검정력으로 정의한다.
• 모든 시뮬레이션 코드와 결과를 공개하여 재현성 확보 및 더 복잡한 모델로의 확장 지원을 목적으로 한다.

실험 결과

연구 질문

• RQ1 백분위수 방법 대비 편향 보정 방법을 선택할 경우 중재 분석에서 통계적 검정력에 어떤 영향을 미치는가?
• RQ2 다른 부트스트랩 방법을 사용할 경우 중재 효과를 탐지하기 위해 필요한 표본 크기는 얼마인가?
• RQ3 근접 경로(a)와 원거리 경로(b)의 강도와 방향이 간접 효과 탐지에 대한 검정력에 어떻게 영향을 미치는가?
• RQ4 중재 변수가 이전에 드러나지 않은 관계를 드러내는 경우, 억제 효과를 탐지할 수 있는 통계적 검정력은 어느 정도인가?
• RQ5 제안된 시뮬레이션 프레임워크는 다중 중재자나 조절자가 포함된 모델로 확장될 수 있는가?

주요 결과

• 편향 보정(BC) 부트스트랩 방법은 백분위수 방법보다 약 10명 적은 참가자로 동일한 통계적 검정력을 달성한다.
• 간접 효과(ab)가 일정할 경우 근접 경로(a)와 원거리 경로(b)의 강도와 방향은 검정력에 차이를 초래하지 않는다.
• 이전에 드러나지 않은 관계를 드러내는 중재 변수를 포함한 억제 효과는 표준 중재 효과와 비교해 유사한 검정력을 확보할 수 있다.
• 이 시뮬레이션 프레임워크는 억제 효과 및 다중 중재자를 포함한 복잡한 시나리오를 포함한 광범위한 조건에서 검정력을 성공적으로 추정한다.
• 모든 시뮬레이션 결과와 코드는 공개되어 있어 연구자들이 연구 계획을 수립하고 더 복잡한 모델로 방법론을 확장하는 데에 활용할 수 있다.