[論文レビュー] Novel processes and metrics for a scientific evaluation rooted in the principles of science - Version 1

Michaël Bon, Michael T. Taylor+1 more|arXiv (Cornell University)|Jan 27, 2017

Scientific Computing and Data Management参考文献 1被引用数 4

ひとこと要約

本論文は、ジャーナルインパクトファクターを置き換え、オープンで水平的(peer)な共同レビューと自己ジャーナルを基盤とする、下位互換の科学的評価システムを提案する。このシステムにより、科学者が共同で研究を評価・キュレーションでき、定量的で透明な指標を通じて再現性、オープンネス、品質を促進し、若手研究者を支援するとともに、科学的権威を分散化する。

ABSTRACT

Scientific evaluation is a determinant of how scientists, institutions and funders behave, and as such is a key element in the making of science. In this article, we propose an alternative to the current norm of evaluating research with journal rank. Following a well-defined notion of scientific value, we introduce qualitative processes that can also be quantified and give rise to meaningful and easy-to-use article-level metrics. In our approach, the goal of a scientist is transformed from convincing an editorial board through a vertical process to convincing peers through an horizontal one. We argue that such an evaluation system naturally provides the incentives and logic needed to constantly promote quality, reproducibility, openness and collaboration in science. The system is legally and technically feasible and can gradually lead to the self-organized reappropriation of the scientific process by the scholarly community and its institutions. We propose an implementation of our evaluation system with the platform "the Self-Journals of Science" (www.sjscience.org).

研究の動機と目的

• 現在の科学的評価における本質的非対称性（編集委員会が記事の可視性やキャリア発展に不釣り合いな影響を持つこと）を是正すること。
• ジャーナルの評判に依存するのではなく、妥当性と重要性の科学的原則に基づいた、対称的かつコミュニティ主導の評価システムに置き換えること。
• 科学的品質、再現性、オープンネス、協働性を促進する、実用的で定量的な指標を設計すること。
• 科学者、特に若手研究者に、科学的検証と評価のコントロールを回復させることで、支援すること。
• キャスティング数やジャーナルランクを超えた真の科学的価値を反映する指標を、機関および資金提供機関が採用可能にするようにすること。

提案手法

• 科学者が自身の研究および他者の研究をキュレーション・評価できる、オープンな個人用プラットフォーム「自己ジャーナル」を導入し、水平的レビューを可能にする。
• 公開・公開・説明責任のあるレビュー体制を実装し、透明性、時間の柔軟性、コミュニティによるガバナンスを確保する。
• 独立した検証（例：「検証」または「エンドースメント」）の数と、レビューコメントの質に基づく記事単位の指標を開発する。
• 妥当性の評価（レビューサイクルによる）と重要性の評価（自己ジャーナルの可視性とキュレーションによる）を分離し、科学的価値の明確な区別を可能にする。
• 提案されたシステムの技術的・組織的実装のための実行プラットフォームとして、SJS（Self-Journals of Science）プラットフォームを活用する。
• hインデックスに類似した指標を設計するが、コミュニティによる検証済みでオープンかつ蓄積的な科学的貢献の評価に基づく。

実験結果

リサーチクエスチョン

• RQ1 科学的評価をどのように再構築すれば、編集委員会と広範な科学コミュニティとの間の非対称性を解消できるか？
• RQ2 妥当性と重要性を分離し、再現性とオープンネスを支援する形で、客観的に科学的価倀を測定する指標は何か？
• RQ3 分散型でコミュニティ主導の記事単位の評価システムは、ジャーナルインパクトファクターを置き換えつつ、学術的キャリアに混乱を来さずに実現可能か？
• RQ4 このようなシステムは、高品質で協働的かつ透明な研究行動をどのように促進できるか？
• RQ5 自己ジャーナルとオープンレビューアーは、科学の持続的で自己組織的評価エコシステムをどのように創出できるか？

主な発見

• 提案されたシステムは、秘密主義、時間的圧力、ゲートキーピングを特徴とする現在の「ピア・トライアル」モデルに代わり、科学的自己是正と透明性を支援するオープンで水平的レビュー体制を提供する。
• 独立した検証とレビューコメントの質に基づく記事単位の指標は、定量的かつ実用的で、透明かつ公平なジャーナルインパクトファクターの代替手段として信頼できる。
• 評価が公開され、蓄積的かつコミュニティ全体に分散されているため、ゲーム化やバイアスが低減される。編集委員会に集中化されていない。
• 自己ジャーナルは、若手研究者を含む科学者がキュレーションとレビューアーを通じて評価と影響力を築くにあたり、リスクがなく、報酬のある方法を提供する。
• このモデルにより、評価委員会は集団的かつ文脈的な科学的成果の判断にアクセスでき、レビュー時間の短縮と知的厳密性の向上が可能になる。
• SJSプラットフォームは、技術的および組織的実現可能性を示しており、コミュニティ主導の科学的評価に向けたスケーラブルでオープンソースのモデルを提供する。