[논문 리뷰] Decentralized Peer Review in Open Science: A Mechanism Proposal

Andreas Finke, Thomas Hensel|arXiv (Cornell University)|2024. 04. 28.

scientometrics and bibliometrics research인용 수 4

한 줄 요약

이 논문은 블록체인 기반의 탈중앙화된 피어리뷰 시스템을 제안하며, 토큰화된 보상, 공개(익명화된) 리뷰 게시, 신뢰도 추적, 디지털 인증서를 통해 고질적인 리뷰를 유도한다. 투명한 스마트 컨tracts로 구동되는 이 메커니즘은 리뷰의 질, 속도, 책임성을 향상시키며, 이상주의에 의존하는 대신 지속 가능한 경제적 및 명성 기반의 인센티브를 도입한다.

ABSTRACT

Peer review is a laborious, yet essential, part of academic publishing with crucial impact on the scientific endeavor. The current lack of incentives and transparency harms the credibility of this process. Researchers are neither rewarded for superior nor penalized for bad reviews. Additionally, confidential reports cause a loss of insights and make the review process vulnerable to scientific misconduct. We propose a community-owned and -governed system that 1) remunerates reviewers for their efforts, 2) publishes the (anonymized) reports for scrutiny by the community, 3) tracks reputation of reviewers and 4) provides digital certificates. Automated by transparent smart-contract blockchain technology, the system aims to increase quality and speed of peer review while lowering the chance and impact of erroneous judgements.

연구 동기 및 목표

• 기존 학술 피어리뷰의 인centive 부족과 투명성 결여로 인해 신뢰성과 질이 저하되는 문제를 해결하기 위해.
• 기밀성과 보상이 없는 전통적 피어리뷰를 공동 소유하고 투명한 시스템으로 대체하여 리뷰어의 명성과 성과를 추적하기 위해.
• 학술 기여에 있어 이상주의에 의존하는 것을 줄이고, 토큰화된 경제적 및 명성 기반의 인센티브를 도입하기 위해.
• 탈중앙화된 거버넌스와 스마트 컨트랙트를 통해 과학 평가의 속도, 공정성, 장기적 영향 평가를 향상시키기 위해.
• 오픈 사이언스 원칙에 부합하는 지속 가능하고 개방적이며 확장 가능한 과학적 피어리뷰 모델을 구현하기 위해.

제안 방법

• 시스템은 블록체인 상의 스마트 컨트랙트를 사용하여 피어리뷰 과정을 자동화하고 강제화함으로써 신뢰할 수 없는 환경에서도 투명성을 확보한다.
• 고품질 리뷰에 대해 리뷰어는 토큰으로 보상을 받으며, 이 보상은 커뮤니티 평가 및 명성 지표와 연계된다.
• 익명화된 피어리뷰 보고서는 공개적으로 게시되어 커뮤니티의 감시를 가능하게 하고 부정행위 위험을 줄인다.
• 가중치가 부여된 점수를 기반으로 리뷰 품질과 커뮤니티 검증을 반영하여 리뷰어 성과를 추적하는 동적 명성 시스템을 운영한다.
• 거버넌스 및 스테이킹 메커니즘을 통해 커뮤니티가 프로토콜 변경 사항에 투표하고 책임성을 확보한다.
• 기여를 확인하고 검증 가능한 과학 기록을 구축하기 위해 저자 및 리뷰어에게 디지털 인증서를 발급한다.

실험 결과

연구 질문

• RQ1 탈중앙화된 시스템은 학술 이상주의에 의존하지 않고도 고품질의 피어리뷰를 보장할 수 있는가?
• RQ2 경제적 및 명성 기반 보상으로서 효과적인 리뷰어 인센티브 메커니즘은 무엇인가?
• RQ3 리뷰어의 객관성과 저자 익명성을 해치지 않으면서 피어리뷰의 투명성을 어떻게 높일 수 있는가?
• RQ4 블록체인 기반의 명성 추적은 과학 평가의 신뢰성과 신뢰도를 향상시키는 데 어떤 역할을 할 수 있는가?
• RQ5 커뮤니티 소유의 시스템은 학술 피어리뷰에서 확장성과 장기적 지속 가능성을 달성할 수 있는가?

주요 결과

• 제안된 시스템은 기밀성과 보상이 없는 전통적 피어리뷰를 스마트 컨트랙트를 활용한 투명하고 인센티브가 일치하는 모델로 대체한다.
• 익명화된 리뷰 보고서는 공개적으로 게시되어 커뮤니티 감시를 가능하게 하고 과학적 부정행위 위험을 줄인다.
• 동적 명성 시스템은 커뮤니티 피드백과 성과 지표를 기반으로 리뷰어 품질을 지속적으로 평가할 수 있도록 한다.
• 토큰 기반의 인센티브와 스테이킹 메커니즘은 고품질 피어리뷰에 대한 지속 가능한 경제적 동기를 제공한다.
• 디지털 인증서의 통합은 저자 및 리뷰어의 과학 기여 기록을 검증 가능하고 변조 불가능한 형태로 제공한다.
• 시스템은 연구 품질과 리뷰어 신뢰도의 변화를 시간에 따라 추적함으로써 장기적 과학적 영향 평가를 지원한다.