[논문 리뷰] TrueReview: A Platform for Post-Publication Peer Review

Luca de Alfaro, Marco Faella|arXiv (Cornell University)|2016. 08. 29.

Expert finding and Q&A systems참고 문헌 19인용 수 4

한 줄 요약

TrueReview는 검토 정확도와 정보성에 기반한 이중 보상 시스템을 통해 고품질, 진실성 있고 정보적인 검토를 유도하는 오픈소스 플랫폼을 제안한다. 시뮬레이션 결과, 이 인cent리브 모델은 검토 품질과 검토자 명성 정확도를 크게 향상시켜 정확도 전용 또는 보상 없음 접근 방식을 능가한다.

ABSTRACT

In post-publication peer review, scientific contributions are first published in open-access forums, such as arXiv or other digital libraries, and are subsequently reviewed and possibly ranked and/or evaluated. Compared to the classical process of scientific publishing, in which review precedes publication, post-publication peer review leads to faster dissemination of ideas, and publicly-available reviews. The chief concern in post-publication reviewing consists in eliciting high-quality, insightful reviews from participants. We describe the mathematical foundations and structure of TrueReview, an open-source tool we propose to build in support of post-publication review. In TrueReview, the motivation to review is provided via an incentive system that promotes reviews and evaluations that are both truthful (they turn out to be correct in the long run) and informative (they provide significant new information). TrueReview organizes papers in venues, allowing different scientific communities to set their own submission and review policies. These venues can be manually set-up, or they can correspond to categories in well-known repositories such as arXiv. The review incentives can be used to form a reviewer ranking that can be prominently displayed alongside papers in the various disciplines, thus offering a concrete benefit to reviewers. The paper evaluations, in turn, reward the authors of the most significant papers, both via an explicit paper ranking, and via increased visibility in search.

연구 동기 및 목표

• 논문 출판 이전의 동료 검토에서 발생하는 지연과 비효율을 해결하기 위해 과학 논문을 신속하고 개방적으로 배포할 수 있도록 하기 위해.
• 후출판형 검토 시스템에서 고품질, 진실성 있고 정보적인 검토를 유도하기 위해.
• 정확도(정확한 평가)와 정보성(새로운 정보 기여)을 모두 보상하는 검토자 인센티브 메커니즘을 설계하기 위해.
• 논문과 검토자를 품질과 명성 기반으로 순위 매기기 위한 플랫폼을 만들기 위해, 가시성과 신뢰도를 향상시키기 위해.
• 과학 공동체가 논문 제출 및 검토를 위한 커스터마이징된 레이아웃을 설정할 수 있도록 지원하며, arXiv와 같은 레포지토리와의 통합을 포함한다.

제안 방법

• 시스템은 정확도와 정보성을 결합한 곱셈형 보상 모델을 사용하여 검토자를 유도한다.
• 정확도는 동일한 논문에 대한 향후 평가와 비교하여 검토의 평가를 측정한다.
• 정보성은 새로운 검토가 추가된 후 논문의 평균 평가 변화로 정량화된다.
• 검토자는 누적된 검토 보상 기반으로 순위 매겨지며, 이는 논문와 함께 표시되어 가시성을 향상시킨다.
• 플랫폼은 커뮤니티가 정의한 레이아웃과 arXiv 카테고리에 매핑된 레이아웃을 포함한 여러 레이아웃을 지원한다.
• 두 가지 사용자 모델을 시뮬레이션한다: 하나는 검토자가 독립적으로 의견을 형성하는 경우이며, 다른 하나는 이전 검토 기반으로 신념을 갱신하는 베이지안 추론을 사용하는 경우이다.

실험 결과

연구 질문

• RQ1 출판 이전의 동료 검토에 의존하지 않고도 후출판형 검토 시스템이 진실성 있고 정보적인 검토를 효과적으로 유도할 수 있는가?
• RQ2 보상 시스템에서 정확도와 정보성을 결합할 경우, 정확도 전용 또는 인센티브 없음 모델 대비 검토의 품질과 신뢰성은 어떻게 향상되는가?
• RQ3 인센티브 구조는 검토자 명성 정확도를 얼마나 향상시키며, 평가의 전반적 손실을 얼마나 줄이는가?
• RQ4 독립적인 의견 형성과 베이지안 업데이트를 포함한 다양한 사용자 모델링 가정은 인센티브 시스템의 성능에 어떤 영향을 미치는가?
• RQ5 검토자의 능력과 전공 전문성 수준이 다를 경우에도 이 시스템은 높은 검토 품질을 달성할 수 있는가?

주요 결과

• 정확도와 정보성을 조합한 곱셈형 보상 시스템은 시뮬레이션에서 정확도 전용 또는 보상 없음 전략을 크게 능가한다.
• 3000건의 검토 후 시스템은 전역 손실이 오직 8%에 그쳐 검토 평가와 진정한 논문 품질 간의 강력한 일치를 보였다.
• 검토자 능력과 명성 간에 양의 상관관계가 있었으며, 이는 시스템이 숙련된 검토자를 효과적으로 순위 매김함을 보여주었다.
• 논문 품질 추정의 상대 오차는 0.74로 낮아 평가의 높은 정밀도를 나타내었다.
• 첫 번째 사용자 모델(독립적 의견 형성)은 두 번째 모델(베이지안 추론)보다 전역 손실을 더 빨리 감소시켰는데, 이는 개별 검토의 최적 가중치 조정 덕분이었다.
• 시스템은 특히 자신이 전문성을 가진 분야의 논문을 평가하는 검토자에게 명백한 편향을 보이며 전체 평가 품질을 향상시켰다.