[論文レビュー] Quantifying replicability in systematic reviews: the r-value

Liat Shenhav, Ruth Heller+1 more|arXiv (Cornell University)|Jan 31, 2015

Meta-analysis and systematic reviews参考文献 7被引用数 6

ひとこと要約

本稿では、メタアナリシスの有意な結果が単一の研究にどれほど依存しているかを測定することで、システマティックレビューにおける再現性を定量化する新しい指標であるr値を導入する。r値は、N個の研究からなるメタアナリシスにおいて、1つずつ研究を除いた際のleave-one-outメタアナリシスから得られる最大p値である。r値が小さいほど、効果が複数の研究にわたって再現されているという証拠が強くなり、健康科学分野のレビューにおける結論の信頼性が向上する。

ABSTRACT

In order to assess the effect of a health care intervention, it is useful to look at an ensemble of relevant studies. The Cochrane Collaboration's admirable goal is to provide systematic reviews of all relevant clinical studies, in order to establish whether or not there is a conclusive evidence about a specific intervention. This is done mainly by conducting a meta-analysis: a statistical synthesis of results from a series of systematically collected studies. Health practitioners often interpret a significant meta-analysis summary effect as a statement that the treatment effect is consistent across a series of studies. However, the meta-analysis significance may be driven by an effect in only one of the studies. Indeed, in an analysis of two domains of Cochrane reviews we show that in a non-negligible fraction of reviews, the removal of a single study from the meta-analysis of primary endpoints makes the conclusion non-significant. Therefore, reporting the evidence towards replicability of the effect across studies in addition to the significant meta-analysis summary effect will provide credibility to the interpretation that the effect was replicated across studies. We suggest an objective, easily computed quantity, we term the r-value, that quantifies the extent of this reliance on single studies. We suggest adding the r-values to the main results and to the forest plots of systematic reviews.

研究の動機と目的

• 有意なメタアナリシスの結果が単一の研究に起因するリスクに対処し、再現性と信頼性を損なうのを防ぐ。
• メタアナリシスにおける複数の研究にわたる再現性の証拠の強さを客観的かつ計算可能な指標として定量化する。
• 標準的なメタアナリティックな結果にr値を補足することで、システマティックレビューの透明性と信頼性を向上させる。
• 複数の主要評価項目および多重性補正の文脈においてr値を解釈するための指針を提供する。
• r値をシステマティックレビューのフォレストプロットおよび主要結果セクションに統合するよう提言する。

提案手法

• r値は、N個の研究からなるメタアナリシスにおいて、各研究を1つずつ除外したN回のleave-one-outメタアナリシスから得られる最大p値として定義される。
• 各研究を1つずつ除外して再びメタアナリシスを実行し、その際のp値を記録する。これらのp値の最大値がr値である。
• r値は、再現性がないという帰無仮説に対する証拠を定量化する：r値が小さいほど再現性が強いことを示す。
• 複数の主要評価項目がある場合、r値に対してボンフェローニ法またはベンジャミン＝ホッジバーグ手順を用いて、家族-wise 偽発見率（FWER）または偽発見率（FDR）の補正を施す。
• シミュレーションにより、固定効果モデルおよびランダム効果モデルの両方のメタアナリティックモデルに本手法が適用可能であることが示されている（付録を参照）。
• 結論が複数の研究にわたって安定しているかどうかを示すために、r値をフォレストプロットおよび主要結果に含めることが推奨される。

実験結果

リサーチクエスチョン

• RQ1 システマティックレビューにおける有意なメタアナリシスの結果が、単一の研究にどれほど依存しているか。
• RQ2 複数の研究にわたるメタアナリティックな効果の再現性を、客観的に定量化する方法は何か。
• RQ3 複数の主要評価項目が再現性の解釈に与える影響は何か。また、多重性はどのように補正すべきか。
• RQ4 r値およびその補正済み形態は、シミュレーションおよび実世界のシステマティックレビューにおいて、単一の研究への過剰な依存を検出するのにどれほど有効か。
• RQ5 r値は、健康科学分野におけるシステマティックレビューの結論の信頼性と透明性を向上させることができるか。

主な発見

• 乳がんに関する21件のCochraneレビューのサンプルにおいて、13件（62％）が単一の研究の除外に敏感であり、再現性がないことを示唆した。
• インフルエンザに関する6件の更新済みCochraneレビューにおいては、2件（33％）が単一の研究の除外に敏感であり、再現性の問題は顕著ではあるが、やや弱い傾向にあった。
• r値は、結論が単一の研究に依存しているメタアナリシスを特定するのに有効であることが判明した。特にr > 0.05の場合に顕著であった。
• 複数の評価項目がある場合、ベンジャミン＝ホッジバーグ手順を用いてFDR 0.05水準でr値を補正した結果、Review CD005211の4つの評価項目のうち2つが再現されたと特定された。
• シミュレーションでは、保守的なt検定でさえ、真の効果がある状況でも有意なメタアナリシスの結果が単一の研究に起因することがあり、再現性のチェックの必要性を浮き彫りにした。
• r値は、標準的なメタアナリシスを補完する強固で客観的な指標を提供し、複数の研究にわたる再現性の証拠の強さを定量化する。