[論文レビュー] Inferential statistics, power estimates, and study design formalities continue to suppress biomedical innovation

Scott E. Kern|arXiv (Cornell University)|Nov 4, 2014

Health and Medical Research Impacts参考文献 23被引用数 4

ひとこと要約

この論文は、推論統計、パワー計算、厳格な研究設計への過剰な依存が、保守的で確認的（confirmatory）な研究を好むあまり、画期的な探索的科学への道をふさぐことで、生物医学分野のイノベーションを抑制していると主張している。著者は、迅速で仮説を生み出す研究を優遇するように、査読および資金配分プロセスの見直しを提言し、高インパクトの発見の可能性を高めることを目的としている。

ABSTRACT

Innovation is the direct intended product of certain styles in research, but not of others. Fundamental conflicts between descriptive vs inferential statistics, deductive vs inductive hypothesis testing, and exploratory vs pre-planned confirmatory research designs have been played out over decades, with winners and losers and consequences. Longstanding warnings from both academics and research-funding interests have failed to influence effectively the course of these battles. The NIH publicly studied and diagnosed important aspects of the problem a decade ago, resulting in outward changes in the grant review process but not a definitive correction. Specific reforms could deliberately abate the damage produced by the current overemphasis on inferential statistics, power estimates, and prescriptive study design. Such reform would permit a reallocation of resources to historically productive rapid exploratory efforts and considerably,increase the chances for higher-impact research discoveries. We can profit from the history and foundation of these conflicts to make specific recommendations for administrative objectives and the process of peer review in decisions regarding research funding. (C) 2013 S. Kern

研究の動機と目的

• 推論統計と形式的な研究設計要件への過剰な重視が、長年にわたり生物医学的イノベーションを抑制し続けている問題に対処すること。
• 生物医学分野における探索的（帰納的）研究と確認的（演繹的）研究のアプローチの間で長年にわたり存在する対立を浮き彫りにすること。
• NIHが10年前に始めた診断を含む、制度的改革の失敗が、資金配分および査読プロセスに実質的な変化をもたらさなかったことへの批判。
• パワー推定値や推論統計への重視を減らす行政的・査読上の改革を提言し、規定的でパワー推定付きの設計よりも、迅速で探索的な研究を優遇すること。
• 歴史的に生産的で高インパクトな探索的取り組みに研究資源を再配分することを可能にすること。

提案手法

• 生物医学研究における記述統計と推論統計の間の歴史的・制度的対立を分析すること。
• 帰納的（探索的）と演繹的（確認的）仮説検証フレームワークの二元論的対比を検討すること。
• 規定的な研究設計形式が研究のイノベーションおよび資金配分意思決定に与える影響を評価すること。
• パワー推定値や推論統計への重視を減らすことで、査読および助成金評価プロセスの行政的改革を提言すること。
• 歴史的に主要な発見を生んできた迅速で探索的な研究モデルに資金配分をシフトするよう提言すること。
• 歴史的例と制度的失敗を根拠に、研究評価の構造的変更を正当化すること。

実験結果

リサーチクエスチョン

• RQ1 推論統計とパワー推定値への過剰な重視が、数十年にわたる警告にもかかわらず、なぜ生物医学的イノベーションを抑制し続けているのか？
• RQ2 探索的と確認的研究設計の間の対立は、生物医学的発見の道のりにどのように影響を与えているのか？
• RQ3 NIHの改革を含む制度的改革が、研究資金配分および評価のシステム的問題をどの程度効果的に是正したのか？
• RQ4 査読および行政政策にどのような具体的な変更を加えることで、高インパクトの探索的研究の成功確率を高められるのか？
• RQ5 形式的な研究設計要件から、迅速な探索的研究に研究資源を再配分することで、イノベーションの成果がどの程度向上するのか？

主な発見

• 現在の推論統計とパワー推定値への重視は、低リスクで確認的な研究を好むあまり、高インパクトな生物医学的イノベーションを体系的に抑制している。
• NIHによる10年間の制度的診断にもかかわらず、助成金査読プロセスや資金配分に明確な是正は見られない。
• 探索的と確認的研究スタイルの間の対立は継続的であり、形式的な査読基準のため、後者（確認的）が支配的である。
• 規定的な研究設計やパワー計算への依存を減らす改革は、歴史的に生産的で迅速な探索的研究に資源を再配分する可能性を高める。
• 査読および資金決定における行政的変更は、高インパクトの発見の可能性を著しく高めることができる。
• 本論文は、生物医学分野におけるイノベーションを回復させるために、研究評価の構造的変更が不可欠であると結論づけている。