[论文解读] Centralized "big science" communities more likely generate non-replicable results

Valentin Danchev, Andrey Rzhetsky+1 more|arXiv (Cornell University)|Jan 15, 2018

Genetics, Bioinformatics, and Biomedical Research参考文献 32被引用 3

一句话总结

本研究通过将51,292项已发表的药物-基因相互作用声明与美国国立卫生研究院（NIH）LINCS L1000计划的高通量实验数据关联，探究了科学研究的可重复性。研究发现，尽管广泛认可，集中化的‘大科学’研究群体所提出的声明更难被重复；而采用多样化方法的去中心化研究群体则产生了更具鲁棒性、可重复性更高的结果。

ABSTRACT

Growing concern that most published results, including those widely agreed upon, may be false are rarely examined against rapidly expanding research production. Replications have only occurred on small scales due to prohibitive expense and limited professional incentive. We introduce a novel, high-throughput replication strategy aligning 51,292 published claims about drug-gene interactions with high-throughput experiments performed through the NIH LINCS L1000 program. We show (1) that unique claims replicate 19% more frequently than at random, while those widely agreed upon replicate 45% more frequently, manifesting collective correction mechanisms in science; but (2) centralized scientific communities perpetuate claims that are less likely to replicate even if widely agreed upon, demonstrating how centralized, overlapping collaborations weaken collective understanding. Decentralized research communities involve more independent teams and use more diverse methodologies, generating the most robust, replicable results. Our findings highlight the importance of science policies that foster decentralized collaboration to promote robust scientific advance.

研究动机与目标

• 评估不同研究群体结构下，药物-基因相互作用已发表科学声明的可重复性。
• 调查在‘大科学’研究群体中，尽管存在广泛共识，但因协作重叠而集中化的合作模式是否损害科学可靠性。
• 评估去中心化研究团队与方法多样性对大规模生物学研究中可重复性的影响。
• 识别影响已发表研究成果稳健性的科学合作结构因素。
• 通过突出去中心化合作在提升可重复性方面的优势，为科学政策提供依据。

提出的方法

• 从科学文献中收集了51,292项关于药物-基因相互作用的已发表声明。
• 将这些声明与美国国立卫生研究院（NIH）LINCS L1000计划的高通量实验数据对齐，该计划是一项大规模功能基因组学计划。
• 根据文献中声明是否独特或广泛一致，对声明进行分类。
• 通过将已发表声明与L1000数据集中的实验结果进行比较，测量可重复性率。
• 分析合作网络，以区分集中化的‘大科学’研究群体与去中心化、多样化研究团队。
• 使用统计建模方法，在控制声明流行度和共识程度的前提下，比较不同群体结构下的可重复性频率。

实验结果

研究问题

• RQ1 独特声明与广泛一致声明在可重复性率上是否存在差异？
• RQ2 在存在共识的情况下，集中化科学群体（协作重叠）所提出的声明在多大程度上仍无法被重复？
• RQ3 研究团队的去中心化与方法多样性如何影响科学发现的可重复性？
• RQ4 科学合作的哪些结构特征最能预测可靠且可重复的结果？
• RQ5 高通量实验验证能否揭示共识驱动研究群体中的系统性偏差？

主要发现

• 独特声明的可重复率比随机预期高出19%，表明新颖发现具有基准水平的可靠性。
• 广泛一致的声明可重复率比随机情况高出45%，表明科学中存在集体校正机制。
• 尽管存在共识，集中化‘大科学’研究群体的声明仍显著更难被重复，而去中心化网络中的声明则更易被重复。
• 以独立团队和多样化方法为特征的去中心化研究群体，产生了最可重复的结果。
• 集中化合作结构削弱了广泛接受声明的可靠性，表明在这些环境中，共识并不能保证真实性。
• 本研究证明，科学群体的结构特征——尤其是集中化——对可重复性具有可衡量的影响，且这种影响独立于声明的流行度或共识程度。