[논문 리뷰] Testing small study effects in multivariate meta-analysis

Chuan Hong, Georgia Salanti외 5명|arXiv (Cornell University)|2018. 05. 24.

Meta-analysis and systematic reviews참고 문헌 28인용 수 7

한 줄 요약

이 논문은 다변량 메타분석에서 공개 편향과 결과 보고 편향을 모두 고려하여 소규모 연구 효과(SSE)를 탐지하기 위한 새로운 점수 검정, 다변량 소규모 연구 효과 검정(MSSET)을 제안한다. 이 검정은 내부 연구 상관관계가 필요 없이 상관관계가 있는 다수의 결과에 대한 증거를 통합하여, 시뮬레이션과 실제 응용 사례에서 단변량 검정보다 높은 검정력(유의도)을 보이며, 44개의 코크란 리뷰에 대한 분석에서도 성능을 입증하였다.

ABSTRACT

Small study effects occur when smaller studies show different, often larger, treatment effects than large ones, which may threaten the validity of systematic reviews and meta-analyses. The most well-known reasons for small study effects include publication bias, outcome reporting bias and clinical heterogeneity. Methods to account for small study effects in univariate meta-analysis have been extensively studied. However, detecting small study effects in a multivariate meta-analysis setting remains an untouched research area. One of the complications is that different types of selection processes can be involved in the reporting of multivariate outcomes. For example, some studies may be completely unpublished while others may selectively report multiple outcomes. In this paper, we propose a score test as an overall test of small study effects in multivariate meta-analysis. Two detailed case studies are given to demonstrate the advantage of the proposed test over various naive applications of univariate tests in practice. Through simulation studies, the proposed test is found to retain nominal Type I error with considerable power in moderate sample size settings. Finally, we also evaluate the concordance between the proposed test with the naive application of univariate tests by evaluating 44 systematic reviews with multiple outcomes from the Cochrane Database.

연구 동기 및 목표

• 다변량 메타분석(MMA)에서 소규모 연구 효과(SSE)를 탐지하기 위한 통계적 방법의 부족을 해결하기 위해.
• 공개 편향과 결과 보고 편향(ORB)을 모두 고려하는 검정을 개발하여, MMA에서 흔하지만 충분히 인식되지 않는 SSE의 주요 원인를 반영하기 위해.
• 내부 연구 상관관계가 필요 없이 다수의 결과에 대한 증거를 통합하여 단변량 접근법보다 탐지 능력을 향상시키는 방법을 개발하기 위해.
• 제안된 검정의 성능을 시뮬레이션 연구와 실제 시스템적 리뷰에서 평가하여, 특히 단변량 검정과의 비교를 통해 성능을 검증하기 위해.

제안 방법

• 복합우도 기반 점수 검정을 제안하여 다변량 메타분석에서 전체 SSE를 평가하며, 다수의 결과의 결합분포를 활용한다.
• 이 검정은 다수의 결과에 걸쳐 산점도의 비대칭성을 탐지하도록 설계되었으며, 복합우도를 통해 연구 간 및 연구 내 상관관계를 암묵적으로 모델링한다.
• 내부 연구 상관관계의 추정이 필요 없으며, 실질적으로 알려져 있지 않거나 구하기 어려운 경우에도 이를 추론 과정에 반영한다.
• Egger의 회귀 검정을 다변량 환경으로 일반화하여, 결과 수 J ≥ 2일 때 자연스러운 확장이 된다.
• 다양한 자료 유형과 척도를 가진 결과에 대해 유연하고 강력한 통계적 프레임워크를 제공하는 우도 기반 접근법을 사용한다.
• 점수 검정 통계량은 SSE가 없는 귀무가설 하에서 유도되며, 정규 조건 하에서 점근적으로 카이제곱 분포를 따른다.

실험 결과

연구 질문

• RQ1 메타분석에 다수의 결과가 존재할 경우, 다변량 검정이 단변량 검정보다 소규모 연구 효과를 더 효과적으로 탐지할 수 있는가?
• RQ2 제안된 MSSET는 공개 편향과 결과 보고 편향이 존재하는 다양한 상황에서 SSE를 어떻게 탐지하는가?
• RQ3 중간 크기의 표본 크기 설정에서 MSSET는 적절한 I형 오류 비율을 유지하고 단변량 검정보다 높은 통계적 검정력을 확보하는가?
• RQ4 실제 시스템적 리뷰에서 다수의 결과를 포함할 경우, MSSET는 단변량 검정의 난잡한 적용과 비교해 어떻게 성능을 보이는가?
• RQ5 결과 간 상관관계가 존재할 때, 실세계의 다변량 메타분석에서 MSSET는 단변량 방법보다 SSE를 얼마나 잘 탐지하는가?

주요 결과

• 제안된 MSSET 검정은 시뮬레이션 연구에서 명목상의 I형 오류 비율을 유지하였고, 중간 크기의 표본 설정에서 상당한 검정력을 보였다.
• 다수의 결과를 포함한 44개의 코크란 리뷰에 대한 실제 분석에서, MSSET는 유의수준 0.10에서 7개(16%)의 메타분석에서 SSE를 탐지하였으며, 단변량 검정보다 뛰어난 성능을 보였다.
• Egger의 회귀 검정은 두 결과 모두에서 SSE를 탐지한 것이 4개(9%)에 불과했고, Begg의 순위 검정과 Bonferroni 보정을 적용한 Egger의 검정은 각각 6개(14%)의 메타분석에서 SSE를 탐지하였다.
• MSSET는 Bonferroni 보정을 적용한 Egger의 검정과 가장 높은 일치도를 보이며, 결과 간 SSE 탐지의 일관성을 입증하였다.
• MSSET는 어떤 단변량 검정보다도 더 많은 SSE 사례를 탐지하였으며, 이는 다변량 메타분석에서 잠재적 편향을 식별하는 데 있어 뛰어난 검정력과 실용성을 확인한다.
• 이 방법은 내부 연구 상관관계가 필요 없어, 기존의 대안보다 더 강건하고 실용적이며 광범위하게 적용 가능하다.