[論文レビュー] A Generalized Publication Bias Model

Peter H. Schönemann, Jeffrey D. Scargle|arXiv (Cornell University)|Mar 1, 2008

Meta-analysis and systematic reviews参考文献 9被引用数 10

ひとこと要約

この論文は、スカルグルによるローゼンタールとルービンのフェイルセーフ番号（FSN）の批判を一般化し、分布に依存しない確率質量に基づくモデルを導入することで、出版バイアスの分析を単純化する。出版バイアスの分析において、未公開の研究と公開された研究の比率は、第1種の誤り率αとステップサイズβに強く依存しており、分布の仮定をせず、複数の区間を含む選択関数に対してもこの枠組みを拡張可能であることを示している。

ABSTRACT

Scargle (2000) has discussed Rosenthal and Rubin's (1978) fail-safe number” (FSN) method for estimating the number of unpublished studies in meta-analysis. He concluded that this FSN cannot possibly be correct because a central assumption the authors used conflicts with the very definition of publication bias. While this point has been made by others before (Darlington, 1980; Elsahoff, 1978; lyengar & Greenhouse, 1988; Thomas, 1985), Scargle showed, by way of a simple 2-parameter model, how far off Rosenthal and Rubin's estimate can be in practice. However, his results relied on the assumption that the decision variable is normally distributed with zero mean. In this case the ratio of unpublished to published papers is large only in a tiny region of the parameter plane. Building on these results, we now show that (1) replacing densities with probability masses greatly simplifies Scargle's derivations and permits an explicit statement of the relation between the probability a of Type I errors and the step-size β; (2) this result does not require any distribution assumptions; (3) the distinction between 1-sided and 2-sided rejection regions becomes immaterial; (4) this distribution-free approach leads to an immediate generalization to partitions involving more than two intervals, and thus covers more general selection functions.

研究の動機と目的

• 出版バイアスの根本的な欠陥を是正すること。特に、ローゼンタールとルービンのフェイルセーフ番号（FSN）手法の核心的仮定を疑問視すること。
• スカルグルの2パラメータ正規モデルを単純化し、確率密度を確率質量に置き換えること。
• 出版バイアスのモデリングにおいて分布の仮定を排除すること。
• 2つ以上の区間（例えば、複数の有意水準領域）を含む選択関数への枠組みの一般化。

提案手法

• 連続的な確率密度の代わりに離散的な確率質量を用いて、検定統計量の分布をモデル化する。
• 第1種の誤り率αとステップサイズβの間の関係を明示的にモデル化し、未公開対公開研究の比率を決定づける。
• 有意・非有意の2区間による分割（有意水準領域）を基本ケースとし、その後k分割の棄却領域へ一般化する。
• 新しい定式化では、片側検定と両側検定の区別が無視できることが示される。
• 正規性や対称性を仮定せず、αとβから直接出版バイアス比を導出する。
• 任意の複数の区間を含む選択関数にモデルを適用し、より広範な適用性を実現する。

実験結果

リサーチクエスチョン

• RQ1 真の出版バイアスの定義に基づくと、フェイルセーフ番号手法はどのように失敗するのか？
• RQ2 特定の分布を仮定せずに、未公開と公開の研究の関係をモデル化できるか？
• RQ3 第1種の誤り率αとステップサイズβが、出版バイアスの大きさに果たす役割は何か？
• RQ4 片側検定と両側検定の区別が、未公開研究の推定に影響を与えるか？
• RQ5 このモデルは、2つ以上の有意水準領域を含む選択関数へ拡張可能か？

主な発見

• 未公開対公開研究の比率は、αとβの組み合わせに極めて敏感であり、大きな比率が得られるのはパrameter空間の狭い領域でのみである。
• 密度を確率質量に置き換えることで、導出が単純化され、出版バイアス比に対して明示的な解析的表現が可能になる。
• このモデルは分布に依存しない。つまり、検定統計量の母集団分布に関する仮定を必要としない。
• 新しい定式化では、片側検定と両側検定の区別が無視できる。
• この枠組みは、2つ以上の区間を含む選択関数へ自然に一般化され、複雑な有意水準基準のモデリングが可能になる。
• 結果はスカルグルの批判を確認し、現実的なパrameter設定下ではローゼンタールとルービンのFSN手法が著しく誤解を招く可能性があることを示している。