[논문 리뷰] Fixed-effects model: the most convincing model for meta-analysis with few studies

Enxuan Lin, Tiejun Tong외 2명|arXiv (Cornell University)|2020. 02. 11.

Meta-analysis and systematic reviews참고 문헌 23인용 수 13

한 줄 요약

이 논문은 이질성이 존재할 때 소수의 연구를 포함한 메타분석에서 고정효과 모형이 공통효과 모형과 랜덤효과 모형을 모두 능가하는 가장 신뢰할 수 있는 접근법임을 주장한다. 이질성이 존재할 때 연구 수가 적은 상황에서, 평균 제곱 오차를 줄이기 위해 연구 수준의 정보를 더 잘 활용하는 비가중 평균 효과를 위한 최적 추정량을 제안한다. 이로 인해 불안정한 연구 간 분산 추정에 의존하지 않고도 더 정밀한 신뢰구간을 얻을 수 있다.

ABSTRACT

According to Davey et al. (2011) with a total of 22,453 meta-analyses from the January 2008 Issue of the Cochrane Database of Systematic Reviews, the median number of studies included in each meta-analysis is only three. In other words, about a half or more of meta-analyses conducted in the literature include only two or three studies. While the common-effect model (also referred to as the fixed-effect model) may lead to misleading results when the heterogeneity among studies is large, the conclusions based on the random-effects model may also be unreliable when the number of studies is small. Alternatively, the fixed-effects model avoids the restrictive assumption in the common-effect model and the need to estimate the between-study variance in the random-effects model. We note, however, that the fixed-effects model is under appreciated and rarely used in practice until recently. In this paper, we compare all three models and demonstrate the usefulness of the fixed-effects model when the number of studies is small. In addition, we propose a new estimator for the unweighted average effect in the fixed-effects model. Simulations and real examples are also used to illustrate the benefits of the fixed-effects model and the new estimator.

연구 동기 및 목표

• 소수의 연구를 포함한 메타분석에서 공통효과 모형과 랜덤효과 모형의 한계를 해결하기 위해.
• 이질성이 존재하고 연구 수가 적을 때 고정효과 모형이 더 신뢰할 수 있고 정밀한 추정치를 제공함을 보여주기 위해.
• 연구 간 정보를 완전히 활용하는 고정효과 모형에서 비가중 평균 효과를 위한 새로운 최적 추정량을 제안하기 위해.
• 기존 비가중 평균 추정량과 비교해 복합제곱오차가 감소하는지를 보여주기 위해.
• 소수의 메타분석에 대해 고정효과 모형이 가장 설득력 있는 선택임을 뒷받침하는 실증적이고 시뮬레이션 기반의 증거를 제공하기 위해.

제안 방법

• 고정효과 모형에서 비가중 평균 효과를 위한 새로운 최적 추정량을 제안하며, 연구별 가중치를 정밀도와 정보량에 기반해 할당한다.
• 이론적 유도를 통해 새로운 추정량이 Laird-Mosteller의 비가중 평균 추정량보다 더 낮은 평균 제곱 오차를 가짐을 보여준다.
• 이질성과 연구 수의 변화에 따라 고정효과 모형, 공통효과 모형, 랜덤효과 모형의 성능을 비교하기 위해 시뮬레이션을 수행한다.
• 정확히 세 개의 연구를 포함한 네 개의 실제 메타분석을 분석하여, 효과 크기 추정치와 신뢰구간 폭에서 모형 간 차이를 설명한다.
• 다양한 시나리오에서 신뢰도 확보 비율, 유형 I 오류 비율, 평균 제곱 오차를 평가하여 추정량 성능을 평가한다.
• 모든 세 모형의 신뢰구간을 비교하여 고정효과 모형이 정밀도와 타당성의 균형을 잘 유지함을 강조한다.

실험 결과

연구 질문

• RQ1 소수의 연구를 포함한 메타분석에서 고정효과 모형이 공통효과 모형과 랜덤효과 모형보다 더 신뢰할 수 있고 정밀한 추정치를 제공하는가?
• RQ2 고정효과 모형에서 비가중 평균 효과를 위한 새로운 추정량이 기존 비가중 평균 추정량보다 평균 제곱 오차를 줄일 수 있는가?
• RQ3 연구 수가 적을 때 고정효과 모형의 신뢰구간은 랜덤효과 모형의 것과 비교해 폭과 신뢰도 측면에서 어떻게 다른가?
• RQ4 고정효과 모형은 어떤 조건에서 공통효과 모형의 문제점(예: 과도한 유형 I 오류)과 랜덤효과 모형의 문제점(예: 정밀도가 떨어지는 분산 추정)을 피할 수 있는가?
• RQ5 이질성이 무시할 수 없고 연구 수가 적을 때, 고정효과 모형의 비가중 평균 효과가 랜덤효과 모형의 평균 효과보다 더 의미 있는 요약이 되는가?

주요 결과

• 고정효과 모형은 신뢰구간 폭이 더 좁고, 유사한 신뢰도를 유지함으로써 소수의 메타분석에서 더 정보적인 결과를 제공한다.
• 모든 시뮬레이션 설정에서 제안된 비가중 평균 효과를 위한 최적 추정량은 Laird-Mosteller의 비가중 평균 추정량보다 더 낮은 평균 제곱 오차를 보였다.
• 고정효과 모형에서 비가중 평균 효과의 점추정치는 랜덤효과 모형의 평균 효과와 거의 동일했지만, 신뢰구간은 훨씬 더 좁았다.
• 세 개의 연구와 높은 이질성(예: I² = 80%)을 포함한 메타분석에서는 공통효과 모형이 잘못된 유의미한 결과를 도출했고, 랜덤효과 모형은 너무 넓은 신뢰구간을 제공했다.
• 최적 추정량은 분산을 더 줄이면서도 편향을 약간 증가시켰지만, 모든 테스트 시나리오에서 평균 제곱 오차가 순수하게 개선되었다.
• 실제 사례에서 연구 수가 적고 이질성이 무시할 수 없을 때 고정효과 모형은 공통효과 모형과 랜덤효과 모형보다 더 의미 있고 해석 가능한 요약을 제공했다.