[論文レビュー] Anomalies in the peer-review system: A case study of the journal of High Energy Physics

Sandipan Sikdar, Matteo Marsili+2 more|arXiv (Cornell University)|Aug 17, 2016

Anomaly Detection Techniques and Applications参考文献 12被引用数 3

ひとこと要約

本研究は、共同レビュー履歴および引用情報に基づき、ハイエナジー物理学ジャーナル（JHEP）における成績が低い編集者および査読者を特定するための異常検出フレームワークを提案する。行動特徴（レビュー頻度、遅延、受容率、査読者選定パターンなど）を用いてk-meansクラスタリングを適用した結果、26.8%の編集者および14.5%の査読者が異常と特定され、その受容論文は著しく少ない引用を獲得していた一方、拒絶された論文は非常に高い引用を獲得していた。

ABSTRACT

Peer-review system has long been relied upon for bringing quality research to the notice of the scientific community and also preventing flawed research from entering into the literature. The need for the peer-review system has often been debated as in numerous cases it has failed in its task and in most of these cases editors and the reviewers were thought to be responsible for not being able to correctly judge the quality of the work. This raises a question "Can the peer-review system be improved?" Since editors and reviewers are the most important pillars of a reviewing system, we in this work, attempt to address a related question - given the editing/reviewing history of the editors or re- viewers "can we identify the under-performing ones?", with citations received by the edited/reviewed papers being used as proxy for quantifying performance. We term such review- ers and editors as anomalous and we believe identifying and removing them shall improve the performance of the peer- review system. Using a massive dataset of Journal of High Energy Physics (JHEP) consisting of 29k papers submitted between 1997 and 2015 with 95 editors and 4035 reviewers and their review history, we identify several factors which point to anomalous behavior of referees and editors. In fact the anomalous editors and reviewers account for 26.8% and 14.5% of the total editors and reviewers respectively and for most of these anomalous reviewers the performance degrades alarmingly over time.

研究の動機と目的

• Peer-review編集者および査読者の歴史的レビュー行動および引用結果を用いて、異常行動を検出できるかを調査すること。
• 過剰な割り当て頻度や遅延報告といった、査読における成績不良と関連する具体的な行動指標を同定すること。
• 測定可能なレビュー行動および引用インパactsに基づき、編集者および査読者を異常または正常に分類するための非教師ありフレームワークを構築すること。
• 特に、異常な査読者の長期的成績傾向を評価し、時間経過とともに質が低下するかどうかを検証すること。

提案手法

• 1997年から2015年までの29,000件のJHEP論文（95名の編集者、4,035名の査読者）のデータセットを構築し、レビュー履歴および引用数を含めた。
• 編集者用に4つの行動特徴を定義：割り当て頻度（MEAT）、査読者多様性（RDI）、自己割り当て率（RADI）、自己査読（SRI）。
• 査読者用に7つの行動特徴を定義：レビュー頻度（MRAT）、レビュー速度（MRSD）、通知遅延（TDI）、編集者多様性（EDI）、受容率（AR）、拒否遅延（MTD）、拒否頻度（DFI）。
• 特徴ベクトルに基づき、k=2のk-meansクラスタリングを適用し、編集者および査読者を異常グループと正常グループに分類した。
• 成績の代理指標として、受容論文および拒絶論文の引用数を用い、異常グループと正常グループ間の累積引用分布を比較した。
• 異常査読者が受容した論文の時間的引用傾向を分析し、成績低下の兆候を評価した。

実験結果

リサーチクエスチョン

• RQ1 編集者および査読者のどの行動パターンが、異常なピアレビュー成績を示す兆候となるか？
• RQ2 異常な査読者および編集者と、受容論文の引用数が低く、拒絶論文の引用数が高い傾向にあるのはどの程度関連しているか？
• RQ3 異常査読者の成績は時間経過とともにどのように変化するか、特にその受容論文の引用傾向からどのように変化するか？
• RQ4 非教師ありクラスタリング手法は、レビュー履歴および引用データを用いて、成績が低い編集者および査読者を効果的に区別できるか？

主な発見

• k-meansクラスタリングを行動特徴に適用した結果、JHEPの26.8%の編集者および14.5%の査読者が異常と分類された。
• 異常編集者によって受容された論文は、正常編集者によって受容された論文と比較して、平均して著しく少ない引用を獲得した。
• 異常査読者によって拒絶された論文は、正常査読者によって拒絶された論文よりも著しく多く引用されており、高影響力の研究が見過ごされた可能性を示している。
• 異常査読者のうち42.5%は、時間の経過とともに一定の低下を示したが、22.6%は当初は良好な成績を示したが後に劣化した。
• 異常査読者が受容した論文の累積引用分布は、正常査読者と比較して統計的に有意な低下を示した。
• 頻繁に拒否したり、報告を遅らせる、受容率が極めて高かったり低かったり、または1人または少数の編集者からのみ割り当てられた査読者は、異常と分類されやすかった。