[論文レビュー] Publication Bias (The "File-Drawer Problem") in Scientific Inference

Jeffrey D. Scargle|ArXiv.org|Sep 17, 1999

Meta-analysis and systematic reviews参考文献 40被引用数 315

ひとこと要約

この論文は、メタアナリシスにおける出版バイアスを評価するのによく使われているFail Safe File Drawer (FSFD) 法について挑戦し、わずかな数の未発表研究が組み合わせた統計的結果を著しく歪めることを示している。Scargleは、カットオフ、ステップ、スムーズといった選択関数の統計モデルを用いて、出版バイアスが効果量推定値を著しく歪めることを明らかにした。これにより、FSFDはファイルドロワーが偏りがないと仮定しているため、信頼性が低いことが判明した。

ABSTRACT

Publication bias arises whenever the probability that a study is published depends on the statistical significance of its results. This bias, often called the file-drawer effect since the unpublished results are imagined to be tucked away in researchers' file cabinets, is potentially a severe impediment to combining the statistical results of studies collected from the literature. With almost any reasonable quantitative model for publication bias, only a small number of studies lost in the file-drawer will produce a significant bias. This result contradicts the well known Fail Safe File Drawer (FSFD) method for setting limits on the potential harm of publication bias, widely used in social, medical and psychic research. This method incorrectly treats the file drawer as unbiased, and almost always misestimates the seriousness of publication bias. A large body of not only psychic research, but medical and social science studies, has mistakenly relied on this method to validate claimed discoveries. Statistical combination can be trusted only if it is known with certainty that all studies that have been carried out are included. Such certainty is virtually impossible to achieve in literature surveys.

研究の動機と目的

• 出版バイアス（研究の出版が統計的有意性に依存する）が、統合された統計的分析の妥当性に与える影響を調査すること。
• 有意な結果を無効にするために必要な未発表研究の数を推定するために広く使われている、Fail Safe File Drawer (FSFD) 法の信頼性に疑問を呈すること。
• 統計的有意性（例：検定統計量Z）に基づいて変化する選択関数を用いた、出版バイアスの統計モデルの構築と分析。
• わずかな数の未発表研究でも、出版バイアスが偽の有意性を生じさせることを示し、文献ベースのメタアナリシスへの信頼を損なうこと。
• 研究登録など、出版バイアスを軽減するための改善された研究慣行の推進を提言すること。

提案手法

• 選択関数 S(Z) を用いて出版バイアスをモデル化し、S(Z) = 統計量 Z を持つ研究が出版される確率を表す。
• 3種類の選択関数を分析：カットオフ（Z < Z₀ の場合 S(Z) = 0、それ以外は 1）、ステップ（Z < Z₀ の場合 S₀、Z ≥ Z₀ の場合 1）、スムーズ関数。
• これらのモデル下での発表済み研究数（N_pub）および平均発表済み Z スコア（Z̄_pub）の解析的表現を導出する。
• 誤差関数（erfc）およびガウス積分を用いて、選択的出版による Z̄_pub の期待バイアスを計算する。
• わずかな数の未発表研究が引き起こすバイアスを、FSFD法の仮定と出力と比較する。
• スムーズな遷移を含む、さまざまな選択関数の形状における結果の頑健性を評価し、結果の一貫性を確認する。

実験結果

リサーチクエスチョン

• RQ1 発表済み研究のみを含めた統合統計的分析の結果が、出版バイアスによってどの程度歪められるか？
• RQ2 Fail Safe File Drawer (FSFD) 法が出版バイアスの影響を推定するうえで根本的に欠陥を抱えている理由は何か？
• RQ3 わずかな数の未発表研究が、メタアナリシスにおける平均効果量に与える定量的影響は何か？
• RQ4 カットオフ、ステップ、スムーズといった異なる選択関数は、統計的有意性に基づいた出版確率をどのようにモデル化するか？
• RQ5 発表済み文献の統合分析が、偏りのないものと信頼できるようになる条件は何か？

主な発見

• わずかな数の未発表研究—数10件程度—でも、平均発表済み検定統計量（Z̄_pub）に顕著なバイアスを生じさせ、偽の有意性を引き起こす可能性がある。
• 広く使われているFail Safe File Drawer (FSFD) 法は根本的に欠陥を抱えている。なぜなら、ファイルドロワーが偏りがないと仮定しているため、真の未発表研究数を著しく低く見積もってしまうからである。
• S₀ ≈ 0 で Z₀ >> 0 であるステップ選択関数の場合、未発表研究数と発表済み研究数の比（R = N_filed / N_pub）は非常に大きくなり、ファイルドロワーのサイズが小さくても深刻なバイアスが生じることを示している。
• 選択確率 S₀ が 1 に非常に近い場合を除き、平均発表済み Z スコア（Z̄_pub）は顕著に上昇する。つまり、結果にかかわらずほとんどすべての研究が出版されない限り、バイアスを回避できない。
• 発表済み研究と未発表研究の両方を含めない限り、文献ベースの研究の統合的分析は偏りのないものと信頼できない。これは実際にはほとんど満たされない条件である。
• 分析から、出版バイアスは1件の発表済み研究に対しても影響を及ぼすことが明らかになった。1つの論文が他の論文よりも出版される決定も、同様のバイアス機構に従うからである。