[論文レビュー] TrueReview: A Platform for Post-Publication Peer Review

Luca de Alfaro, Marco Faella|arXiv (Cornell University)|Aug 29, 2016

Expert finding and Q&A systems参考文献 19被引用数 4

ひとこと要約

TrueReviewは、レビューの正確性と情報性の二重ボーナス制度を組み合わせた、公開レビューを促進するオープンソースプラットフォームを提案する。シミュレーションでは、このインcentiveモデルがレビューの質とレビュアーの評判の正確性を著しく向上させ、正確性のみまたはボーナスなしのアプローチを上回ることを示した。

ABSTRACT

In post-publication peer review, scientific contributions are first published in open-access forums, such as arXiv or other digital libraries, and are subsequently reviewed and possibly ranked and/or evaluated. Compared to the classical process of scientific publishing, in which review precedes publication, post-publication peer review leads to faster dissemination of ideas, and publicly-available reviews. The chief concern in post-publication reviewing consists in eliciting high-quality, insightful reviews from participants. We describe the mathematical foundations and structure of TrueReview, an open-source tool we propose to build in support of post-publication review. In TrueReview, the motivation to review is provided via an incentive system that promotes reviews and evaluations that are both truthful (they turn out to be correct in the long run) and informative (they provide significant new information). TrueReview organizes papers in venues, allowing different scientific communities to set their own submission and review policies. These venues can be manually set-up, or they can correspond to categories in well-known repositories such as arXiv. The review incentives can be used to form a reviewer ranking that can be prominently displayed alongside papers in the various disciplines, thus offering a concrete benefit to reviewers. The paper evaluations, in turn, reward the authors of the most significant papers, both via an explicit paper ranking, and via increased visibility in search.

研究の動機と目的

• 論文の公開前Peerレビューにおける遅延と非効率性を是正し、科学論文の迅速かつオープンな共有を実現すること。
• 公開後レビュー制度において、高品質で真実かつ情報豊富なレビューを促進すること。
• 正確性（適切な評価）と情報性（新しい情報の貢献）の両方を報いるレビュアーインセンティブメカニズムを設計すること。
• 論文とレビュアーが品質と評判に基づいてランク付けされるプラットフォームを構築し、可視性と信頼性を向上させること。
• 科学コミュニティがarXivなどのリポジトリと統合可能なカスタムの会議を設定し、論文の提出とレビューを可能にする支援を行うこと。

提案手法

• システムは、正確性と情報性を組み合わせた乗法的ボーナスモデルを用いてレビュアーをインセンティブ化する。
• 正確性は、同じ論文の将来の評価とレビューの評価を比較することで測定される。
• 情報性は、新しいレビューが追加された後の論文の平均評価の変化によって定量化される。
• レビュアーは蓄積されたレビュー・ボーナスに基づいてランク付けされ、論文と共に表示されて可視性が向上する。
• プラットフォームは、コミュニティが定義する会議やarXivのカテゴリにマッピングされた会議を含む複数の会議をサポートする。
• 2つのユーザーモデルをシミュレーションした：1つはレビュアーが独立して意見を形成するもの、もう1つは過去のレビューに基づいて信念を更新するベイジアン推論を用いるもの。

実験結果

リサーチクエスチョン

• RQ1 公開後レビュー制度は、公開前Peerレビューに依存せずに、真実かつ情報豊富なレビューを効果的に促進できるか？
• RQ2 ボーナス制度において正確性と情報性を組み合わせることで、正確性のみまたはインセンティブなしのモデルと比較して、レビューの質と信頼性にどのような影響を与えるか？
• RQ3 インセンティブ構造は、レビュアーの評判の正確性をどの程度向上させ、評価のグローバルロスをどの程度低減するか？
• RQ4 独立した意見形成とベイジアン更新の異なるユーザーモデリング仮定は、インセンティブシステムのパフォーマンスにどのように影響するか？
• RQ5 レビュアーの能力と専門分野の熟練度にばらつきがあっても、このシステムは高いレビュー品質を達成できるか？

主な発見

• 正確性と情報性を組み合わせた乗法的ボーナス制度は、シミュレーションにおいて正確性のみまたはボーナスなしの戦略を著しく上回った。
• 3000件のレビュー後、グローバルロスはわずか8%にまで低下し、レビュアーの評価と論文の真の品質との間の強い一致を示した。
• レビュアーの熟練度と評判の間に正の相関が観察され、システムが熟練したレビュアーを効果的にランク付けしていることが示された。
• 論文品質の推定における相対誤差は0.74と低く、評価の高精度性を示した。
• 最初のユーザーモデル（独立した意見形成）は、2番目のモデル（ベイジアン推論）よりもグローバルロスを速やかに低減した。これは、個々のレビューの最適な重み付けが可能だったためである。
• システムは、特に自身の専門分野の論文を評価するレビュアーに明確なバイアスを示し、全体の評価品質を向上させた。