[論文レビュー] Centralized "big science" communities more likely generate non-replicable results

Valentin Danchev, Andrey Rzhetsky+1 more|arXiv (Cornell University)|Jan 15, 2018

Genetics, Bioinformatics, and Biomedical Research参考文献 32被引用数 3

ひとこと要約

本研究は、国立衛生研究所（NIH）のLINCS L1000プログラムから得た高スループット実験データと結びつけて、51,292件の公表済み薬剤-遺伝子相互作用の主張を解析することで、科学的研究における再現性の信頼性を調査している。中央集権的な「ビッグサイエンス」コミュニティが、広く合意された主張であっても再現されにくい結果を生み出す一方で、多様な手法を用いる分散型コミュニティはより強固で再現性の高い結果をもたらすことが明らかになった。

ABSTRACT

Growing concern that most published results, including those widely agreed upon, may be false are rarely examined against rapidly expanding research production. Replications have only occurred on small scales due to prohibitive expense and limited professional incentive. We introduce a novel, high-throughput replication strategy aligning 51,292 published claims about drug-gene interactions with high-throughput experiments performed through the NIH LINCS L1000 program. We show (1) that unique claims replicate 19% more frequently than at random, while those widely agreed upon replicate 45% more frequently, manifesting collective correction mechanisms in science; but (2) centralized scientific communities perpetuate claims that are less likely to replicate even if widely agreed upon, demonstrating how centralized, overlapping collaborations weaken collective understanding. Decentralized research communities involve more independent teams and use more diverse methodologies, generating the most robust, replicable results. Our findings highlight the importance of science policies that foster decentralized collaboration to promote robust scientific advance.

研究の動機と目的

• 異なる研究コミュニティ構造における薬剤-遺伝子相互作用に関する公表済み科学的主張の再現性を評価すること。
• 「ビッグサイエンス」コミュニティにおける重複する共同研究が、広く合意された状態であっても科学的信頼性を損なう要因となるかどうかを調査すること。
• 大規模生物学的研究における研究チームの分散化と手法の多様性が、再現性にどのように影響するかを評価すること。
• 公表された研究結果の強度に影響を与える科学的共同作業の構造的要因を同定すること。
• 分散型共同作業の利点を強調することで、科学政策に貢献すること。

提案手法

• 科学文献から51,292件の薬剤-遺伝子相互作用に関する主張を収集した。
• 国立衛生研究所（NIH）のLINCS L1000プログラムから得た高スループット実験データとこれらの主張を一致させた。
• 文献内で独自であるか、広く合意されたものかに基づいて主張を分類した。
• L1000データセットからの実験結果と比較することで、再現率を測定した。
• 共同作業ネットワークを分析し、中央集権的な「ビッグサイエンス」コミュニティと分散型・多様な研究グループを区別した。
• 統計的モデリングを用いて、主張の人気度や合意度を制御した上で、異なるコミュニティ構造間での再現頻度を比較した。

実験結果

リサーチクエスチョン

• RQ1 独自の主張と広く合意された主張の間で、公表済み薬剤-遺伝子相互作用の主張の再現率はどのように異なるか？
• RQ2 重複する共同研究が盛んな中央集権的な科学コミュニティでは、合意があるにもかかわらず再現に失敗する主張がどの程度存在するか？
• RQ3 研究チームの分散化と手法の多様性は、科学的発見の再現性にどのように影響するか？
• RQ4 科学的共同作業のどの構造的特徴が、信頼性の高い再現性のある結果を最も予測するか？
• RQ5 高スループット実験による検証は、合意に基づく科学コミュニティに内在するシステム的バイアスを明らかにできるか？

主な発見

• 独自の主張は、偶然の確率よりも19%高い頻度で再現された。これは、新規の発見に一定の信頼性が存在することを示している。
• 広く合意された主張は、ランダムな確率よりも45%高い頻度で再現された。これは、科学的プロセスに集団的是正メカニズムが存在することを示唆している。
• 合意があっても、中央集権的な「ビッグサイエンス」コミュニティからの主張は、分散型ネットワークからのものよりも著しく再現されにくかった。
• 独立した研究チームと多様な手法を特徴とする分散型研究コミュニティが、最も再現性の高い結果を生み出した。
• 中央集権的な共同作業構造は、広く受け入れられた主張の信頼性を弱めた。これは、合意があってもその場では真実を保証しないことを示している。
• 本研究は、主張の人気度や合意度とは独立して、科学コミュニティの構造的特徴、特に中央集権性が再現性に顕著な影響を与えることを示した。