[論文レビュー] Footprint of publication selection bias on meta-analyses in medicine, environmental sciences, psychology, and economics

Frantis̆ek Bartos̆, Maximilian Maier+10 more|arXiv (Cornell University)|Aug 25, 2022

Meta-analysis and systematic reviews参考文献 37被引用数 13

ひとこと要約

本研究では、医学、環境科学、心理学、経済学の分野におけるメタアナリシスにおいて、発表選択バイアスの存在を、高度な統計的手法を用いてバイアスの兆候を検出することによって調査した。発表バイアスを補正した後、中央値の効果量は有意に低下した—特に経済学（d 0.20 から 0.07 に）、心理学（d 0.37 から 0.26 に）で顕著であった—、これにより、分野をまたいで科学的証拠の統合に広範な歪みが生じていることが明らかになった。

ABSTRACT

Publication selection bias undermines the systematic accumulation of evidence. To assess the extent of this problem, we survey over 68,000 meta-analyses containing over 700,000 effect size estimates from medicine (67,386/597,699), environmental sciences (199/12,707), psychology (605/23,563), and economics (327/91,421). Our results indicate that meta-analyses in economics are the most severely contaminated by publication selection bias, closely followed by meta-analyses in environmental sciences and psychology, whereas meta-analyses in medicine are contaminated the least. After adjusting for publication selection bias, the median probability of the presence of an effect decreased from 99.9% to 29.7% in economics, from 98.9% to 55.7% in psychology, from 99.8% to 70.7% in environmental sciences, and from 38.0% to 29.7% in medicine. The median absolute effect sizes (in terms of standardized mean differences) decreased from d = 0.20 to d = 0.07 in economics, from d = 0.37 to d = 0.26 in psychology, from d = 0.62 to d = 0.43 in environmental sciences, and from d = 0.24 to d = 0.13 in medicine.

研究の動機と目的

• 医学、環境科学、心理学、経済学の4つの科学分野におけるメタアナリシスに及ぼす発表選択バイアス（PSB）の程度と影響を評価すること。
• PSBが、メタアナリシスにおける効果量の過大評価および効果の存在に関する証拠の過大評価を引き起こすかどうかを調査すること。
• バイアスの兆候を検出するための最先端の統計的手法を用いて、分野ごとのPSBの深刻さを比較すること。
• 臨床試験登録や研究の透明性などのメソドロジカルな違いが、PSBの頻度の差を説明できるかどうかを評価すること。
• 発表バイアスを低減するための改革、たとえば事前登録やレジストリドレポートの導入の必要性を強調すること。

提案手法

• 医学（Cochrane）、環境科学（Deresssa et al.）、心理学（Stanley & Sladekova）、経済学（Ioannidis et al.）の4分野から68,000件を超えるメタアナリシスを収集した。
• 標準化された指標（例：Cohenのd、対数オッズ比）を用いて、少なくとも3つの効果量推定値を有するメタアナリシスを選定し、分野間の比較可能性を確保した。
• 効果量と標準誤差の相関関係などのパターンを分析することで、発表選択バイアスを検出する統計的手法を適用した。
• 標準化された証拠の過大評価要因を用いて、メタアナリシス内での依存性を補正し、証拠強度の過大評価を低減した。
• モデル比較を用いて、PSB補正前後における効果の存在確率と効果量の大きさを推定した。
• 感度分析を実施し、特に経済学や環境科学のようにメタアナリシス内での依存性が強い分野の結果の頑健性を評価した。

実験結果

リサーチクエスチョン

• RQ1 医学、環境科学、心理学、経済学の分野におけるメタアナリシスにおいて、発表選択バイアスはどの程度検出可能か？
• RQ2 発表選択バイアスは、これらの分野における効果の存在確率の推定にどのように影響を及ぼすか？
• RQ3 各分野において、発表選択バイアスを補正した後の中央値の効果量の低下幅はどの程度か？
• RQ4 なぜ医学分野のメタアナリシスは、心理学、環境科学、経済学のそれらと比べて発表選択バイアスの影響をあまり受けていないのか？
• RQ5 観察された分野間の発表バイアスの差を説明できる、メソドロジカルまたは構造的要因は何か？

主な発見

• 発表選択バイアスを補正した後、経済学における効果の存在確率の中央値は99.9％から29.7％に低下し、証拠強度の著しい過大評価が示された。
• 心理学では、バイアス補正後、効果の存在確率の中央値が98.9％から55.7％に低下し、証拠統合における顕著な歪みが明らかになった。
• 環境科学では、バイアス補正後、効果の存在確率の中央値が99.8％から70.7％に低下し、経済学や心理学ほど深刻ではないが依然として顕著なバイアスが示された。
• 医学では、バイアス補正後、効果の存在確率の中央値が38.0％から29.7％に低下し、医学分野でも発表バイアスがメタアナリシスの結論を歪めていることが示された。
• バイアス補正後、中央値の標準化された平均差（Cohenのd）は、経済学で0.20から0.07に、心理学で0.37から0.26に、環境科学で0.62から0.43に、医学で0.24から0.13に低下した。
• 本研究の結論として、発表選択バイアスは経済学で最も深刻であり、次いで環境科学と心理学が続くが、医学分野では最も影響が少なく、それでも依然として有意な影響を示している。