[論文レビュー] Decentralized Peer Review in Open Science: A Mechanism Proposal

Andreas Finke, Thomas Hensel|arXiv (Cornell University)|Apr 28, 2024

scientometrics and bibliometrics research被引用数 4

ひとこと要約

本論文は、トークン報酬、公開（匿名化済み）レビューの公開、レピュテーション追跡、デジタル証明書を用いた、分散型でブロックチェーンベースの共同レビュー制度を提案する。透明なスマートコントラクトによって駆動されるこのメカニズムは、理想主義に依存するのではなく持続可能な経済的・レピュテーション的インcentiveを導入することで、レビューの質、スピード、説明責任を向上させることを目的としている。

ABSTRACT

Peer review is a laborious, yet essential, part of academic publishing with crucial impact on the scientific endeavor. The current lack of incentives and transparency harms the credibility of this process. Researchers are neither rewarded for superior nor penalized for bad reviews. Additionally, confidential reports cause a loss of insights and make the review process vulnerable to scientific misconduct. We propose a community-owned and -governed system that 1) remunerates reviewers for their efforts, 2) publishes the (anonymized) reports for scrutiny by the community, 3) tracks reputation of reviewers and 4) provides digital certificates. Automated by transparent smart-contract blockchain technology, the system aims to increase quality and speed of peer review while lowering the chance and impact of erroneous judgements.

研究の動機と目的

• 伝統的な学術的共同レビューにおけるインcentive不足と透明性の欠如が信頼性と質を損なうという問題に対処すること。
• 機密性があり報酬のない共同レビューを、コミュニティ所有で透明性のあるシステムに置き換え、レビュアーのレピュテーションとパフォーマンスを追跡すること。
• 学術的貢献における理想主義への依存を減らすために、トークン化された経済的およびレピュテーション的インcentiveを導入すること。
• 分散型ガバナンスとスマートコントラクトを活用して、科学的評価のスピード、公平性、長期的インパクト評価の質を向上させること。
• オープンサイエンスの原則に整合した持続可能でオープンかつスケーラブルな科学的共同レビューのモデルを実現すること。

提案手法

• 本システムは、ブロックチェーン上でのスマートコントラクトを用いて共同レビューのプロセスを自動化・強制し、信頼性のない環境と透明性を確保する。
• 高品質なレビューに対してレビュアーはトークンで報酬を受け取り、報酬はコミュニティの評価とレピュテーション指標に結びつく。
• 匿名化された共同レビュー報告書を公開することで、コミュニティによる監視を可能にし、不正行為のリスクを低減する。
• レビュアーのパフォーマンスを、レビューの質とコミュニティによる承認に基づく重み付きスコアを用いて動的に追跡するレピュテーションシステムを構築する。
• ガバナンスとステーキングメカニズムにより、コミュニティがプロトコルの変更について投票し、説明責任を確保できる。
• 著者およびレビュアーにデジタル証明書を発行することで、貢献を検証可能なものとし、検証可能な科学的記録を構築する。

実験結果

リサーチクエスチョン

• RQ1 分散型システムは、学術的理想主義に依存せずに、どのように高品質な共同レビューを確保できるか？
• RQ2 経済的およびレピュテーション的報酬の両面で、どのようにレビュアーを効果的にインセンティブ化できるか？
• RQ3 レビュアーの客観性や著者の匿名性を損なわずに、どのように共同レビューの透明性を高められるか？
• RQ4 ブロックチェーンベースのレピュテーション追跡は、科学的評価の信頼性と信頼性をどのように向上させられるか？
• RQ5 コミュニティ所有のシステムは、学術的共同レビューにおいてスケーラビリティと長期的持続可能性をどのように達成できるか？

主な発見

• 提案されたシステムは、機密性があり報酬のない共同レビューを、スマートコントラクトを用いた透明でインセンティブが一致するモデルに置き換える。
• 匿名化されたレビュー報告書を公開することで、コミュニティによる監視が可能になり、科学的不正行為のリスクが低減する。
• 動的なレピュテーションシステムにより、コミュニティフィードバックとパフォーマンス指標に基づいたレビュアーの質の継続的評価が可能になる。
• トークンベースのインセンティブとステーキングメカニズムにより、高品質な共同レビューに対する持続可能な経済的動機付けが実現される。
• デジタル証明書の統合により、著者およびレビュアーの科学的貢献の検証可能で改ざん不能な記録が提供される。
• 研究の質とレビュアーの信頼性の変遷を追跡することで、本システムは長期的な科学的インパクト評価を支援する。