[論文レビュー] Scientific Utopia: II. Restructuring incentives and practices to promote truth over publishability

Brian A. Nosek, Jeffrey R. Spies+1 more|arXiv (Cornell University)|May 18, 2012

scientometrics and bibliometrics research被引用数 221

ひとこと要約

この論文は、発表可能性よりも真実性と正確性を重視するように、科学的インcentivesおよび実践を包括的に見直すことを提案している。研究者の動機を科学的整合性と一致させるために、再現性の奨励、報告の透明性、事前登録といった構造的改革を提唱し、誤検出率の低減と知識蓄積の改善を図る。

ABSTRACT

An academic scientist's professional success depends on publishing. Publishing norms emphasize novel, positive results. As such, disciplinary incentives encourage design, analysis, and reporting decisions that elicit positive results and ignore negative results. Prior reports demonstrate how these incentives inflate the rate of false effects in published science. When incentives favor novelty over replication, false results persist in the literature unchallenged, reducing efficiency in knowledge accumulation. Previous suggestions to address this problem are unlikely to be effective. For example, a journal of negative results publishes otherwise unpublishable reports. This enshrines the low status of the journal and its content. The persistence of false findings can be meliorated with strategies that make the fundamental but abstract accuracy motive - getting it right - competitive with the more tangible and concrete incentive - getting it published. We develop strategies for improving scientific practices and knowledge accumulation that account for ordinary human motivations and self-serving biases.

研究の動機と目的

• 発表・死の文化に起因する科学文献における誤検出結果の広範な問題に対処すること。
• 現在のインcentivesが、再現性や否定的結果よりも新規で肯定的な発見を優遇する仕組みであることを分析すること。
• 自己利益的バイアスや誇張された効果量を助長する科学出版における構造的欠陥を特定すること。
• 真実追求を発表インcentivesと同等に競争可能にする、行動科学に基づいた実用的改革を提言すること。
• 制度的・文化的変化を通じて、科学的知識蓄積の効率性と信頼性を向上させること。

提案手法

• pハッキングやHARKing（結果が得られた後に仮説を立てる行動）を減らすために、研究の事前登録を提唱する。
• 公式な承認とキャリアインcentivesを通じて、再現研究や否定的結果の研究を奨励する。
• 失敗した実験を含む、すべてのデータ、手法、分析プロセスの透明な報告を提唱する。
• 出版数から研究の質、再現可能性、透明性への評価基準へのシフトを提言する。
• 新規性やインパクトファクターではなく、正確性と真実追求を科学的成功の基準に再定義する。
• 新規のジャーナル、資金調達モデル、 tenure 評価基準といった制度的改革を提言し、インパクトのある結果よりも厳密さを重視する。

実験結果

リサーチクエスチョン

• RQ1 現在の学術分野におけるインcentivesは、なぜ新規で肯定的な結果を優遇し、正確で再現可能な発見を劣位に置く構造的要因を生じさせるのか？
• RQ2 否定的結果専門のジャーナルといった従来の解決策が、出版バイアスを是正するために不十分であるのはなぜか？
• RQ3 「正しくする」動機を「発表する」動機と同等に強力にするために、どのような構造的変更が必要か？
• RQ4 制度的設計によって、研究者の自己利益的バイアスをどのように是正できるか？
• RQ5 科学的知識生産の信頼性と効率性を最も効果的に向上させるためには、どのような改革が必要か？

主な発見

• 現在の出版規範は、肯定的で新規な結果を生み出す強いインcentiveを生み出し、科学分野における誤検出率が著しく上昇している。
• 否定的結果専門のジャーナルは、それらがより評価されないと見なされるため、地位を確立できず、非肯定的結果に対する偏見が強化されている。
• 事前登録と透明な報告は、研究者の自由度を著しく低下させ、研究の信頼性を向上させる。
• 再現性や方法論的厳密さを奨励するインcentive構造は、新規性へのバイアスを是正し、科学的信頼性を高めることができる。
• 出版数から研究の質や再現可能性、透明性への評価基準へのシフトは、科学的知識の長期的正確性を向上させる。
• 個人のインcentiveを真実追求と一致させるようなシステム的改革は、科学的進歩をより効率的かつ信頼できるものにする。