[論文レビュー] Avoiding a Tragedy of the Commons in the Peer Review Process

D. Sculley, Jasper Snoek+1 more|arXiv (Cornell University)|Dec 18, 2018

scientometrics and bibliometrics research参考文献 5被引用数 15

ひとこと要約

この論文は、機械学習分野における査読の構造的改革を提唱し、査読の質を保証するための標準化されたチェックリストを導入するとともに、著者数が急増する中で高品質かつ迅速な査読を維持するためのインcentiveとして、1件あたり1,000ドルの報酬支払いを提言している。著者らは、査読を専門的サービスとして扱うことで、『共産地帯の悲劇』を回避し、一貫性、効率性、査読者の動機付けを向上させると主張している。

ABSTRACT

Peer review is the foundation of scientific publication, and the task of reviewing has long been seen as a cornerstone of professional service. However, the massive growth in the field of machine learning has put this community benefit under stress, threatening both the sustainability of an effective review process and the overall progress of the field. In this position paper, we argue that a tragedy of the commons outcome may be avoided by emphasizing the professional aspects of this service. In particular, we propose a rubric to hold reviewers to an objective standard for review quality. In turn, we also propose that reviewers be given appropriate incentive. As one possible such incentive, we explore the idea of financial compensation on a per-review basis. We suggest reasonable funding models and thoughts on long term effects.

研究の動機と目的

• 機械学習の国際会議における論文提出数の爆発的増加によって引き起こされる査読体制への持続不可能な負荷に対処すること。
• 無報酬で標準化されていない査読が過剰に使用され、査読の質とコミュニティの信頼性が低下する『共産地帯の悲劇』を防ぐこと。
• 客観的なチェックリストを導入することで、査読の質と一貫性を向上させること。
• 市場水準の報酬（例：1件あたり1,000ドル）を提供することで、高品質な査読を促進すること。
• 低品質な論文による査読負担を軽減するため、段階的なスクリーニング（トリアージ）と査読負荷の基準の再考を推進すること。

提案手法

• 明確さ、独自性、重要性、技術的妥当性などの基準に基づき、査読の質を評価するための7項目のチェックリストを含む査読質評価用のチェックリストを提唱する。
• 1件あたり1,000ドルの報酬を提案し、これは1時間1,000ドルの市場レート（1時間250ドル）で4時間の専門的作業に相当する。これにより、専門的基準に合わせたインセンティブを実現する。
• 著者共同負担、スポンサーシップ、または機関資金など、査読者報酬を支援する資金調達メカニズムを提言する。
• 低品質な論文を早期にふnow して、不必要な査読負担を減らすトリアージシステムの導入を提唱する。
• 査読者の時間が報酬として評価されるようになることで、効率性を高めるためのより良い査読ツールの開発を奨励する。
• 報酬があることで、査読者が自発的により多くの論文を担当できるようになり、類似した提出物同士の比較的深い分析が可能になることを提言する。

実験結果

リサーチクエスチョン

• RQ1 機械学習の国際会議において、査読の質を客観的かつ標準化して測定する方法は何か？
• RQ2 どの程度の報酬水準であれば、査読を持続的かつ優先的な専門的活動とすることができるか？
• RQ3 報酬インセンティブは査読プロセスの効率性と公平性をどのように向上させ得るか？
• RQ4 低品質な論文の査読負担を軽減するための構造的変更とは何か？
• RQ5 報酬支払いの導入が、査読者の専門性、参加意欲、研究文化に及える長期的影響は何か？

主な発見

• NeurIPSおよびICLRの過去の査読を調査した結果、品質、明確さ、独自性、重要性の4つの基準を同時に満たす完全で高品質な査読は極めて見つかりにくかった。
• 2014年のNeurIPS実験では、1つの委員会が承認した論文の約60％が、独立した2番目の委員会によって却下された。これは査読結果の不一致を強く示している。
• 2018年には、平均得点4以下（ほぼ確実に却下）のNeurIPSの提出物が1,366件あり、それらに費やされた査読数は4,000件以上に上り、ほぼ700人の査読者の全査読能力に相当した。
• 著者らは、高品質な査読が少なくとも4時間の専門的作業を要すると推定しており、これは機械学習コンサultの市場レート（1時間250ドル）に基づき、1件あたり1,000ドルの報酬水準を正当化する。
• 報酬支払いにより、査読者らが他の要求事項よりも査読を優先できるようになり、経験の浅い査読者に依存する必要が減り、査読の一貫性が向上する。
• 報酬付きの専門的査読への移行により、経験豊富な査読者がより多くの論文を担当できるようになり、類似した提出物同士の比較的深い分析や、査読のキャリブレーションの質が向上する可能性がある。