[論文レビュー] A brief history of the Fail Safe Number in Applied Research

Moritz Heene|arXiv (Cornell University)|Oct 12, 2010

Paranormal Experiences and Beliefs参考文献 5被引用数 6

ひとこと要約

この論文は、メタアナリシスで効果量の有意性を無効にするために必要な未発表研究の数を推定するための統計量であるローゼンタールのフェイルセーフナンバー（FSN）の歴史的発展と批判的受容をたどる。初期の反論、特にエラショフ（1978）による批判が、平均化の不偏性というFSNの仮定に疑問を呈し、後の形式的批判よりもはるかに早く、その根幹的な欠陥を明らかにした。この反論がメタアナリシスの実務やハンドブックに影響を与えたかどうかが問われる。

ABSTRACT

Rosenthal's (1979) Fail-Safe-Number (FSN) is probably one of the best known statistics in the context of meta-analysis aimed to estimate the number of unpublished studies in meta-analyses required to bring the meta-analytic mean effect size down to a statistically insignificant level. Already before Scargle's (2000) and Schonemann & Scargle's (2008) fundamental critique on the claimed stability of the basic rationale of the FSN approach, objections focusing on the basic assumption of the FSN which treats the number of studies as unbiased with averaging null were expressed throughout the history of the FSN by different authors (Elashoff, 1978; Iyengar & Greenhouse, 1988a; 1988b; see also Scargle, 2000). In particular, Elashoff's objection appears to be important because it was the very first critique pointing directly to the central problem of the FSN: "R & R claim that the number of studies hidden in the drawers would have to be 65,000 to achieve a mean effect size of zero when combined with the 345 studies reviewed here. But surely, if we allowed the hidden studies to be negative, on the average no more than 345 hidden studies would be necessary to obtain a zero mean effect size" (p. 392). Thus, users of meta-analysis could have been aware right from the beginning that something was wrong with the statistical reasoning of the FSN. In particular, from an applied research perspective, it is therefore of interest whether any of the fundamental objections on the FSN are reflected in standard handbooks on meta-analysis as well as -and of course even more importantly- in meta-analytic studies itself.

研究の動機と目的

• 応用的メタアナリティック研究におけるフェイルセーフナンバー（FSN）の歴史的変遷を検討すること。
• 特にそのコアな統計的仮定に疑問を呈する、FSNに対する初期の批判を特定・分析すること。
• FSNに対する根本的な反論が、標準的なメタアナリティックハンドブックや実際のメタアナリティック研究に反映されたかどうかを評価すること。
• その広範な応用にもかかわらず、FSNの概念的不安定性を明確にすること。

提案手法

• ローゼンタール（1979）の提唱以降、FSNに関する学術的文献を体系的にレビューすること。
• エラショフ（1978）、イエンガール＆グリーンハウス（1988a, 1988b）、スカルグル（2000）の論文を分析し、FSNの仮定に対する基礎的反論を特定すること。
• 特に、未発表の研究がゼロのまわりに一様に分布すると仮定するという、FSNの方法論的根拠を評価すること。
• FSNの理論的基盤と、メタアナリティックハンドブックおよび研究における実際の応用を比較すること。
• 歴史的ナラティブを用いて、初期の警告にもかかわらず、誤った推論がなぜ長期間にわたり根強く残ったかをたどること。
• 効果を相殺できるのは正の未発表研究だけだと仮定するという論理的不一致に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 なぜFSNはその統計的仮定に対する初期の批判にもかかわらず、広く使用され続けたのか？
• RQ2 2000年代以前に特定された、FSNの根幹的推論における主な概念的欠陥は何か？
• RQ3 エラショフ（1978）の批判は、FSNのコア仮定（ゼロ効果の平均化）の妥当性をどのように疑問視したのか？
• RQ4 メタアナリシスの方法論的ハンドブックは、FSNに対する初期の反論をどの程度認識または統合したのか？
• RQ5 なぜ論理的不整合をはらむにもかかわらず、FSNは応用的メタアナリシスにおける標準的指標として存続したのか？

主な発見

• エラショフ（1978）は、最初にFSNの仮定に直接反論し、負の研究も許容されるならば、効果量の平均をゼロにまで下げるために必要な未発表研究は65,000件ではなく、たった345件であると指摘した。
• FSNのコア仮定である「未発表研究はゼロのまわりに一様に分布する」かつ「効果を相殺できるのは正の研究だけである」という仮定は論理的に誤っており、基本的な統計的原則に反する。
• エラショフの初期の批判にもかかわらず、FSNは方法論的修正を伴わず、メタアナリティック実務で継続して使用された。
• スカルグル（2000）およびショナンニャム＆スカルグル（2008）による後続の批判は、FSNの推論の不安定性を再確認したが、その根本的欠陥はすでに20年以上も前から明らかになっていた。
• FSNが応用研究にわたり継続して使われていることは、理論的批判と実務的採用との間の乖離を示唆する。
• 本論文は、FSNの継続的使用は、初期の実質的な批判が標準的なメタアナリティック実務や教育資料に統合されなかったことを示す失敗であると結論づける。