[論文レビュー] Accelerating the pace of discovery by changing the peer review algorithm

Stefano Allesina|ArXiv.org|Nov 2, 2009

Evolutionary Game Theory and Cooperation参考文献 13被引用数 5

ひとこと要約

本稿では、著者がジャーナルに論文を提出するのではなく、ジャーナルが論文に入札するという、画期的なピアレビュー制度を提案している。この制度は、エージェントベースのシミュレーションモデルを用いてその影響を検証したものである。代替システムでは、出版が加速し、受容率が63.8％から98％に上昇し、論文1件あたりのレビュー数が10から3に減少し、著者の出版数と影響力が向上する一方で、レビュアーの負荷を最適化し、科学的エコシステム全体の効率性が向上する。

ABSTRACT

The number of scientific publications is constantly rising, increasing the strain on the review process. The number of submissions is actually higher, as each manuscript is often reviewed several times before publication. To face the deluge of submissions, top journals reject a considerable fraction of manuscripts without review, potentially declining manuscripts with merit. The situation is frustrating for authors, reviewers and editors alike. Recently, several editors wrote about the ``tragedy of the reviewer commons', advocating for urgent corrections to the system. Almost every scientist has ideas on how to improve the system, but it is very difficult, if not impossible, to perform experiments to test which measures would be most effective. Surprisingly, relatively few attempts have been made to model peer review. Here I implement a simulation framework in which ideas on peer review can be quantitatively tested. I incorporate authors, reviewers, manuscripts and journals into an agent-based model and a peer review system emerges from their interactions. As a proof-of-concept, I contrast an implementation of the current system, in which authors decide the journal for their submissions, with a system in which journals bid on manuscripts for publication. I show that, all other things being equal, this latter system solves most of the problems currently associated with the peer review process. Manuscripts' evaluation is faster, authors publish more and in better journals, and reviewers' effort is optimally utilized. However, more work is required from editors. This modeling framework can be used to test other solutions for peer review, leading the way for an improvement of how science is disseminated.

研究の動機と目的

• 現在のピアレビュー制度における非効率さと遅延を是正すること。特に、著者、レビュアー、編集者に負担をかける高水準の提出件数と拒否率を解消すること。
• 論文の著者提出からジャーナル入札への移行が、出版速度、受容率、科学的インパクトの向上に寄与するかどうかを検証すること。
• トピック、品質、独創性の確率的分布を考慮した、著者、レビュアー、ジャーナル、論文を含む定量的エージェントベースモデルを構築・検証すること。
• 提案された制度が、重複レビューを低減し、高影響力ジャーナルへの公平なアクセスを促進し、全体の研究生産性を向上させるかどうかを評価すること。

提案手法

• 著者をエージェントとしてモデル化し、トピック関連性（T）、技術的品質（Q）、独創性（N）という3つのベータ分布をとる特性を有する。これらが論文の特性を定義する。
• 現在のシステム（CS）では、著者はジャーナルのインパクトと受容確率のバランスを考慮して論文を提出する。レビュアーは、論文の熟悉度に基づいて論文特性を推定する。
• 代替システム（AS）では、論文がまずプレプリントプールに提出される。著者が自分の論文を提出するには、他の3件の論文をレビューしなければならない。これにより、レビュアー参加が提出に紐づけられる。
• 論文が3件のレビューを獲得し、修正された後、ジャーナルがその論文に入札する第二のプールに移行する。入札は、論文の推定特性とジャーナルの好みに基づいて行われる。
• 両システムの編集者は、レビュアーの推定平均と、トピック適合性、品質、独創性のジャーナル固有の閾値に基づく確率的受容関数を用いる。
• モデルは、500人の著者と50のジャーナルを想定し、10年間の科学的生産をシミュレート。CSとASの両設定において、出版率、レビュー数、インパクトを比較する。

実験結果

リサーチクエスチョン

• RQ1 ピアレビューにおいて、著者提出からジャーナル入札への移行が、出版までの時間を短縮し、論文受容率を向上させるか？
• RQ2 論文提出を必須のピアレビュー参加と結びつけるシステムが、レビュアーの関与度を向上させ、論文1件あたりのレビュワー負担を軽減できるか？
• RQ3 代替システムが、特にキャリア的インパクトと公平性の観点から、著者間での出版分布にどのような影響を及ぼすか？
• RQ4 新しい制度が、論文の品質と独創性に応じてレビュアーの努力をどの程度最適に配分できるか？

主な発見

• 代替システム（AS）では、14,984件中14,683件（98％）の論文が受容されたのに対し、現在のシステム（CS）では63.8％（5,410件が却下）であった。
• 論文1件あたりの平均レビュー数は、CSの10.02件からASの正確に3件に減少し、重複作業が顕著に削減された。
• 92％の著者がASでより多くの論文を出版し、発表頻度の向上とより優れたジャーナルへの掲載により、全著者が累積インパクトスコアを上昇させた。
• 複数回の提出ラウンドを排除し、レビューのサイクルを簡素化することで、受容までの時間が短縮された。レビュー終了後、1か月以内に全意思決定が完了した。
• モデルは、ジャーナル入札が、専門分野が一致するジャーナルに論文をより効率的に配分することを示しており、トピック適合性の向上と不適切な提出の削減に寄与している。
• 代替システムは、著者が自分の論文を提出する前に3件の論文レビューを義務付けることで、活動的な研究者が生産性に比例した割合で貢献するよう、レビュアーの負荷を最適化している。