[논문 리뷰] Quantifying replicability in systematic reviews: the r-value

Liat Shenhav, Ruth Heller외 1명|arXiv (Cornell University)|2015. 01. 31.

Meta-analysis and systematic reviews참고 문헌 7인용 수 6

한 줄 요약

이 논문은 메타분석의 유의한 결과가 한 연구에 얼마나 의존하는지 측정함으로써 체계적 리뷰에서 복제 가능성(replicability)을 정량화하는 데 사용할 수 있는 새로운 지표인 r-value를 제안한다. r-value는 N개의 연구에서 각각 한 연구를 제외한 떠남(leave-one-out) 메타분석을 수행했을 때 얻는 가장 큰 p-값이다. r-value가 작을수록 효과가 여러 연구에서 반복됨을 더 강력하게 시사하며, 이는 건강과학 분야의 리뷰 결론에 대한 신뢰도를 높인다.

ABSTRACT

In order to assess the effect of a health care intervention, it is useful to look at an ensemble of relevant studies. The Cochrane Collaboration's admirable goal is to provide systematic reviews of all relevant clinical studies, in order to establish whether or not there is a conclusive evidence about a specific intervention. This is done mainly by conducting a meta-analysis: a statistical synthesis of results from a series of systematically collected studies. Health practitioners often interpret a significant meta-analysis summary effect as a statement that the treatment effect is consistent across a series of studies. However, the meta-analysis significance may be driven by an effect in only one of the studies. Indeed, in an analysis of two domains of Cochrane reviews we show that in a non-negligible fraction of reviews, the removal of a single study from the meta-analysis of primary endpoints makes the conclusion non-significant. Therefore, reporting the evidence towards replicability of the effect across studies in addition to the significant meta-analysis summary effect will provide credibility to the interpretation that the effect was replicated across studies. We suggest an objective, easily computed quantity, we term the r-value, that quantifies the extent of this reliance on single studies. We suggest adding the r-values to the main results and to the forest plots of systematic reviews.

연구 동기 및 목표

• 유의한 메타분석 결과가 단일 연구에 의해 이끌릴 가능성이 있어 복제 가능성과 신뢰도에 악영향을 미칠 수 있다는 위험을 해결하기 위해.
• 메타분석에서 여러 연구 간 복제 가능성에 대한 증거의 강도를 객관적이고 계산 가능한 지표로 정량화하기 위해.
• 표준 메타분석 결과에 r-value를 보완적으로 제공하여 체계적 리뷰의 투명성과 신뢰도를 향상시키기 위해.
• 다중 주요 종료점과 다중성 조정의 맥락에서 r-value의 해석에 대한 지침을 제공하기 위해.
• r-value를 체계적 리뷰의 산점도 및 주요 결과 섹션에 통합할 것을 촉구하기 위해.

제안 방법

• r-value는 N개의 연구에서 각각 한 연구를 제외한 N개의 떠남 메타분석에서 얻은 p-값 중 가장 큰 값으로 정의된다.
• 각 연구에 대해 해당 연구를 제외한 메타분석을 재실행하고, 그 결과로 얻은 p-값을 기록하며, 이들 중 가장 큰 값이 r-value가 된다.
• r-value는 복제 가능성에 대한 근본가설(귀무가설: 복제 가능성 없음)에 대한 증거를 정량화한다: r-value가 작을수록 복제 가능성은 더 강하다.
• 다중 주요 종료점의 경우, 가족-wise 오류율(FWER) 또는 위임오류율(FDR) 조정을 통해 Bonferroni 또는 Benjamini-Hochberg 절차를 사용하여 r-value를 조정한다.
• 모의 실험을 통해 고정효과 모델과 랜덤효과 모델 모두에 적용 가능함을 입증하였으며, 이는 부록에서 설명되어 있다.
• 결론이 연구 간에 강인한지 여부를 시각화하기 위해 r-value를 산점도 및 주요 결과에 포함할 것을 권고한다.

실험 결과

연구 질문

• RQ1 체계적 리뷰에서 유의한 메타분석 결과가 한 연구에 얼마나 의존하는가?
• RQ2 메타분석 효과가 여러 연구에서 복제 가능한지를 객관적으로 정량화할 수 있는 방법은 무엇인가?
• RQ3 다중 주요 종료점이 복제 가능성의 해석에 미치는 영향은 무엇이며, 다중성은 어떻게 조정해야 하는가?
• RQ4 모의 및 실제 체계적 리뷰에서 r-value와 그 조정된 형태가 단일 연구에 대한 과도한 의존도를 어떻게 탐지하는가?
• RQ5 r-value는 건강과학 분야의 체계적 리뷰 결론의 신뢰도와 투명성을 향상시킬 수 있는가?

주요 결과

• 유방암에 관한 Cochrane 리뷰 21편의 표본에서 13편(62%)이 한 연구의 제거에 민감하여 복제 불가능성을 시사했다.
• 인플루엔자에 관한 6편의 업데이트된 Cochrane 리뷰에서 2편(33%)이 한 연구의 제거에 민감하여 다소는 약한 복제 문제를 보였지만 여전히 유의미한 문제였다.
• r-value는 특히 r > 0.05일 경우에 효과가 한 연구에 의존하는 메타분석을 효과적으로 식별하는 데 기여했다.
• 다중 종료점의 경우, Benjamini-Hochberg 절차를 통해 FDR 수준 0.05에서 조정된 r-value를 적용하여 Review CD005211의 네 종료점 중 두 개가 복제된 것으로 확인했다.
• 모의 실험 결과, 조심스러운 t-검정 조건에서도 진짜 효과가 있는 경우에도 한 연구에 의해 유의한 메타분석 결과가 유도될 수 있음을 확인하여 복제 가능성 점검의 필요성을 강조했다.
• r-value는 표준 메타분석을 보완하는 데 있어 객관적이고 강건한 측정법으로서, 연구 간 복제 가능성에 대한 증거의 강도를 정량화한다.