[論文レビュー] The piranha problem: Large effects swimming in a small pond

Christopher Tosh, Philip Greengard+4 more|arXiv (Cornell University)|May 27, 2021

Philosophy and History of Science被引用数 12

ひとこと要約

本論文は「ピラニア問題」を紹介する—これは、多変量系において、1つの従属変数に多数の大きな効果が存在することは、説明変数が非常に相関関係にある場合を除き、統計的にあり得ないという理論的制約を示している。相関、回帰、相互情報量の定理を用いて、このような効果が不自然な相互作用や依存関係を必要とすることを示し、多くの社会科学の研究で報告される独立した大きな効果の妥当性に疑問を呈する。

ABSTRACT

In some scientific fields, it is common to have certain variables of interest that are of particular importance and for which there are many studies indicating a relationship with different explanatory variables. In such cases, particularly those where no relationships are known among the explanatory variables, it is worth asking under what conditions it is possible for all such claimed effects to exist simultaneously. This paper addresses this question by reviewing some theorems from multivariate analysis showing that, unless the explanatory variables also have sizable dependencies with each other, it is impossible to have many such large effects. We discuss implications for the replication crisis in social science.

研究の動機と目的

• 多変量系において、1つの従属変数に同時に存在できる大きな効果の数に理論的な限界があるかを調査すること。
• 再現性の危機に鑲って、社会科学の研究で報告される多数の大きな独立効果の妥当性を疑問視すること。
• 相関、回帰係数、相互情報量にかかる数学的制約を形式化し、大きな効果の数を制限すること。
• 1つの従属変数に大きな独立効果を主張する研究群を評価する理論的枠組みを提供すること。
• 変数間の依存関係と相互作用が、大きな安定した効果を統計的に整合可能にする役割を強調すること。

提案手法

• 固定された従属変数の分散を持つ系において、多変量解析から導かれる数学的定理を用いて、大きな効果の数を制限する。
• これらの定理を相関、線形回帰、相互情報量に適用し、大きな効果が強い依存関係や相互作用を必要とすることを示す。
• R²の分解を用いて、説明される分散の合計は1を超えることはなく、大きな効果の数を制限することを示す。
• 非線形モデル（例：ロジスティック回帰）を分析し、複数の大きな独立効果が予測確率を極端な値（例：0.01から0.99）にまで引き上げることを示す。
• 複数の大きな効果を維持するには、強い負の相互作用や予測変数間の高い負の相関が必要であり、これは通常の社会科学データではあり得ない。
• 「スパarsityに賭ける」原則や階層的事前分布（例：ホースシューベイズ）を、ピラニア問題の実用的解決策として提案する。

実験結果

リサーチクエスチョン

• RQ1 多変量系において、1つの従属変数に複数の大きな効果が共存できる条件は何か？
• RQ2 説明変数同士の依存関係が、回帰モデルにおける大きな独立効果の妥当性にどのように影響するか？
• RQ3 分散の分解とR²が、系内での大きな効果の数にどのような制約を課えるか？
• RQ4 なぜ、相互作用効果のため、社会科学の研究で報告される大きな独立効果はしばしば統計的にあり得ないのか？
• RQ5 ロジスティック回帰のような非線形モデルは、複数の大きな独立効果の存在をどのようにさらに制限するか？

主な発見

• 説明変数が非常に相関関係にある場合を除き、1つの従属変数に多数の独立した大きな効果が存在することは、数学的にあり得ない。
• 回帰モデルの総R²は1を超えることはなく、相関関係があるか強い相互作用がある場合を除き、大きな効果の数を制限する。
• ロジスティック回帰のような非線形モデルでは、複数の大きな独立効果が予測確率を極端な値（例：0.01から0.99）にまで引き上げるため、実応用上現実的ではない。
• 分散や確率の制約に反しないように複数の大きな効果を維持するには、強い負の相互作用や高い負の相関が必要であり、これは社会科学データでは稀である。
• 理論的制約から、社会科学で広く報告されている多くの大きな効果は、無視された依存関係や相互作用のため、誇張されているか再現不可能である可能性がある。
• ピラニア問題は、説明変数の間の相関が低い場合に、大きな独立効果を主張する研究群に対して懐疑的である理論的根拠を提供する。