[论文解读] Inferential statistics, power estimates, and study design formalities continue to suppress biomedical innovation

Scott E. Kern|arXiv (Cornell University)|Nov 4, 2014

Health and Medical Research Impacts参考文献 23被引用 4

一句话总结

本文主张，对推论统计、统计功效计算和严格研究设计的过度依赖，抑制了生物医学创新，使研究更倾向于保守的验证性研究，而非大胆的探索性科学。作者提议改革同行评审与资助流程，优先支持快速、生成假设的研究，从而提高重大发现的可能性。

ABSTRACT

Innovation is the direct intended product of certain styles in research, but not of others. Fundamental conflicts between descriptive vs inferential statistics, deductive vs inductive hypothesis testing, and exploratory vs pre-planned confirmatory research designs have been played out over decades, with winners and losers and consequences. Longstanding warnings from both academics and research-funding interests have failed to influence effectively the course of these battles. The NIH publicly studied and diagnosed important aspects of the problem a decade ago, resulting in outward changes in the grant review process but not a definitive correction. Specific reforms could deliberately abate the damage produced by the current overemphasis on inferential statistics, power estimates, and prescriptive study design. Such reform would permit a reallocation of resources to historically productive rapid exploratory efforts and considerably,increase the chances for higher-impact research discoveries. We can profit from the history and foundation of these conflicts to make specific recommendations for administrative objectives and the process of peer review in decisions regarding research funding. (C) 2013 S. Kern

研究动机与目标

• 解决因过度强调推论统计和正式研究设计要求而长期抑制生物医学创新的问题。
• 揭示生物医学科学中探索性（归纳性）与验证性（演绎性）研究方法之间长期存在的矛盾。
• 批判机构改革的失败，例如美国国立卫生研究院（NIH）十年前的诊断，未能实质性改变资助与评审实践。
• 倡导行政与同行评审改革，优先支持快速、探索性研究，而非规定性、基于统计功效估算的设计。
• 实现研究资源向历史上富有成效、高影响力的探索性研究的重新配置。

提出的方法

• 分析生物医学研究中描述性统计与推论统计之间的历史与系统性冲突。
• 考察归纳性（探索性）与演绎性（验证性）假设检验框架之间的二元对立。
• 评估规定性研究设计形式对研究创新与资助决策的影响。
• 提出对同行评审与资助评估流程的行政改革，以减少对统计功效估算和推论统计的依赖。
• 建议将资助优先方向转向历史上推动重大发现的快速探索性研究模式。
• 基于历史先例与机构失败，为研究评估的结构性变革提供依据。

实验结果

研究问题

• RQ1 尽管已有数十年的警告，为何对推论统计和统计功效估算的过度强调仍阻碍了生物医学创新？
• RQ2 探索性与验证性研究设计之间的冲突如何影响生物医学发现的轨迹？
• RQ3 机构改革（如NIH的改革）在多大程度上成功解决了研究资助与评估中的系统性问题？
• RQ4 同行评审与行政政策的哪些具体改变可提高高影响力探索性研究的成功率？
• RQ5 若将资源从正式研究设计要求重新分配至快速探索性研究，将如何改善创新成果？

主要发现

• 当前对推论统计和统计功效估算的强调，通过偏好低风险、验证性研究，系统性地抑制了高影响力的生物医学创新。
• 尽管NIH已进行十年诊断，但资助评审流程与资金分配仍未得到根本性纠正。
• 探索性与验证性研究风格之间的冲突持续存在，后者因正式评审标准而占据主导地位。
• 减少对规定性研究设计与统计功效计算的依赖，可使资源重新配置至历史上富有成效的快速探索性研究。
• 对同行评审与资助决策的行政改革，可显著提高高影响力发现的可能性。
• 本文结论认为，必须对研究评估的结构性改革，才能恢复生物医学科学的创新能力。