[논문 리뷰] Accelerating the pace of discovery by changing the peer review algorithm

Stefano Allesina|ArXiv.org|2009. 11. 02.

Evolutionary Game Theory and Cooperation참고 문헌 13인용 수 5

한 줄 요약

이 논문은 저널이 논문을 입찰하는 방식으로 저자들이 저널에 논문을 제출하는 기존 시스템을 대체하는 새로운 피어리뷰 시스템을 제안한다. 에이전트 기반 시뮬레이션 모델을 사용해 영향을 테스트한 결과, 새로운 시스템은 출판 속도를 가속화하고, 수용률을 63.8%에서 98%로 높이며, 논문당 리뷰 수를 10에서 3으로 줄이고, 저자들의 출판 수와 영향력을 높이며, 리뷰어의 노력을 최적화하고 과학 생태계 전반의 효율성을 향상시킨다.

ABSTRACT

The number of scientific publications is constantly rising, increasing the strain on the review process. The number of submissions is actually higher, as each manuscript is often reviewed several times before publication. To face the deluge of submissions, top journals reject a considerable fraction of manuscripts without review, potentially declining manuscripts with merit. The situation is frustrating for authors, reviewers and editors alike. Recently, several editors wrote about the ``tragedy of the reviewer commons', advocating for urgent corrections to the system. Almost every scientist has ideas on how to improve the system, but it is very difficult, if not impossible, to perform experiments to test which measures would be most effective. Surprisingly, relatively few attempts have been made to model peer review. Here I implement a simulation framework in which ideas on peer review can be quantitatively tested. I incorporate authors, reviewers, manuscripts and journals into an agent-based model and a peer review system emerges from their interactions. As a proof-of-concept, I contrast an implementation of the current system, in which authors decide the journal for their submissions, with a system in which journals bid on manuscripts for publication. I show that, all other things being equal, this latter system solves most of the problems currently associated with the peer review process. Manuscripts' evaluation is faster, authors publish more and in better journals, and reviewers' effort is optimally utilized. However, more work is required from editors. This modeling framework can be used to test other solutions for peer review, leading the way for an improvement of how science is disseminated.

연구 동기 및 목표

• 현재 피어리뷰 시스템에서 과도한 제출량과 높은 기각률로 인해 저자, 리뷰어, 편집자 모두 과부하를 겪는 비효율성과 지연 문제를 해결하기 위해.
• 논문 제출 방식을 저자 제출에서 저널 입찰으로 전환할 경우 출판 속도, 수용률, 과학적 영향력 향상 여부를 테스트하기 위해.
• 주제, 품질, 독창성에 대한 확률 분포를 가진 에이전트 기반 피어리뷰 모델을 개발하고 검증하기 위해.
• 제안된 시스템이 중복 리뷰를 줄이고, 고영향력 저널에 대한 공정한 접근성을 높이며, 전체 연구 생산성을 향상시키는지 평가하기 위해.

제안 방법

• 저자를 주제 관련성(T), 기술적 품질(Q), 독창성(N)의 세 가지 베타 분포 특성을 가진 에이전트로 모델링하여 논문의 특성을 정의한다.
• 기존 시스템(CS)에서는 저자가 저널의 영향력과 수용 확률을 종합한 점수를 바탕으로 논문을 제출하며, 리뷰어들은 익숙도에 기반해 논문 특성을 추정한다.
• 보완 시스템(AS)에서는 논문이 먼저 프리프린트 풀에 제출된다. 저자는 자신의 논문을 제출하기 전에 다른 논문 세 편을 리뷰해야 하며, 이는 리뷰어 참여를 제출과 직접 연결함으로써 보장한다.
• 논문이 세 건의 리뷰를 확보하고 수정된 후, 저널이 그 논문에 입찰할 수 있도록 두 번째 풀로 이동한다. 이때 저널은 논문의 추정 특성과 저널의 선호도를 기반으로 입찰한다.
• 양쪽 시스템의 편집자들은 평균 리뷰어 추정치와 주제 적합성, 품질, 독창성에 대한 저널별 임계값을 기반으로 확률적 수용 함수를 사용한다.
• 모델은 500명의 저자와 50개의 저널을 기반으로 10년간의 과학적 산출을 시뮬레이션하여 CS와 AS 설정 간의 출판 비율, 리뷰 수, 영향력 등을 비교한다.

실험 결과

연구 질문

• RQ1 피어리뷰에서 저자 제출 방식에서 저널 입찰 방식으로 전환할 경우, 출판까지의 시간이 단축되고 수용률이 높아지는가?
• RQ2 논문 제출을 의무적인 피어리뷰 참여와 연계한 시스템이 리뷰어의 참여도를 향상시키고 논문당 리뷰 부담을 줄일 수 있는가?
• RQ3 보완 시스템이 저자 간 출판 분포에 어떤 영향을 미치며, 특히 직업적 영향력과 공정성 측면에서 어떻게 변화하는가?
• RQ4 새로운 시스템이 논문 품질과 독창성에 비례해 리뷰어의 노력을 최적화하는 데 얼마나 기여하는가?

주요 결과

• 보완 시스템(AS)은 기존 시스템(CS)의 63.8% 대비 98%의 논문 수용률(14,683/14,984편)을 달성했으며, 기각된 논문은 CS의 5,410편 대비 301편으로 크게 감소했다.
• 논문당 평균 리뷰 수는 CS의 10.02에서 AS의 정확히 3으로 감소하여 중복된 노력이 크게 줄었다.
• 92%의 저자가 AS에서 더 많은 논문을 출판했으며, 출판 빈도 증가와 더 나은 저널 배치로 인해 모든 저자가 누적 영향력 점수를 높였다.
• 다중 제출 라운드를 제거하고 리뷰 사이클을 간소화함으로써 수용까지의 시간이 단축되었으며, 리뷰 이후 한 달 이내에 모든 결정이 내려졌다.
• 모델은 저널 입찰이 주제 전문성이 일치하는 저널에 논문을 더 효율적으로 배분함으로써 주제 적합성을 향상시키고, 잘못된 제출을 줄이는 데 기여함을 보여주었다.
• 보완 시스템은 저자가 자신의 논문을 제출하기 전에 세 편의 논문을 리뷰하도록 요구함으로써, 활동적인 연구자들이 자신의 생산성에 비례해 리뷰 기여를 하도록 하여 리뷰어의 노동량을 최적화했다.