[論文レビュー] Prior and Prejudice: The Novice Reviewers' Bias against Resubmissions in Conference Peer Review

Ivan Stelmakh, Nihar B. Shah+2 more|arXiv (Cornell University)|Nov 30, 2020

Explainable Artificial Intelligence (XAI)参考文献 61被引用数 7

ひとこと要約

本研究は、133名の初心者レビュアーと19篇の論文を用いた無作為化比較試験を通じて、以前に却下された論文を再提出したものに対して、初心者レビュアーがより厳しい評価を行う『再提出バイアス』が存在するかを調査した。その結果、10段階スケールで平均して0.78ポイントの低い評価がなされ、特に品質評価が最も顕著に影響を受けており、明確な否定的バイアスが確認された。

ABSTRACT

Modern machine learning and computer science conferences are experiencing a surge in the number of submissions that challenges the quality of peer review as the number of competent reviewers is growing at a much slower rate. To curb this trend and reduce the burden on reviewers, several conferences have started encouraging or even requiring authors to declare the previous submission history of their papers. Such initiatives have been met with skepticism among authors, who raise the concern about a potential bias in reviewers' recommendations induced by this information. In this work, we investigate whether reviewers exhibit a bias caused by the knowledge that the submission under review was previously rejected at a similar venue, focusing on a population of novice reviewers who constitute a large fraction of the reviewer pool in leading machine learning and computer science conferences. We design and conduct a randomized controlled trial closely replicating the relevant components of the peer-review pipeline with $133$ reviewers (master's, junior PhD students, and recent graduates of top US universities) writing reviews for $19$ papers. The analysis reveals that reviewers indeed become negatively biased when they receive a signal about paper being a resubmission, giving almost 1 point lower overall score on a 10-point Likert item ($Δ= -0.78, \ 95\% \ ext{CI} = [-1.30, -0.24]$) than reviewers who do not receive such a signal. Looking at specific criteria scores (originality, quality, clarity and significance), we observe that novice reviewers tend to underrate quality the most.

研究の動機と目的

• 初心者レビュアーが国際会議の査読において再提出論文に対してバイアスを示すかどうかを調査すること。
• 実際のレビュアーと実際の論文を用いた制御された実験を通じて、このバイアスの大きさを測定すること。
• 再提出のシグナルが、独自性、品質、明確さ、重要性といった特定の評価基準にどのように影響を与えるかを検討すること。
• レビュアーが認知的努力を払っているにもかかわらず、過去の却下履歴の有無がレビュアーの判断に影響を及える程度を評価すること。
• 会議主催者らが再提出の開示ポリシーの公平性と設計を評価するための実証的証拠を提供すること。

提案手法

• 米国上位大学の大学院生、若手博士課程学生、および新卒者からなる133名の初心者レビュアーを対象に、無作為化比較試験を実施した。
• 過去の国際会議で発表された19篇の実際の論文を用い、それぞれの論文を2つのレビュアー群に割り当てた：一方は過去の却下履歴を知らされた（再提出条件）、他方は知らされなかった（ベースライン条件）。
• 両条件で論文の内容とレビューガイドラインを同一に保ち、再提出シグナルの影響を孤立して測定した。
• 10段階リッカート尺度を用いた全体評価と、独自性、品質、明確さ、重要性の4つの基準について、133件の完全なレビューレポートを収集・分析した。
• 95％信頼区間を用いてバイアスの大きさと有意性を推定した。
• レビュアーの経験と論文の特徴を制御することで、再提出シグナルの影響を明確に分離した。

実験結果

リサーチクエスチョン

• RQ1 論文が過去に却下されたという事実を知ったことで、レビュアーのスコアに測定可能な低下が生じるか？
• RQ2 再提出シグナルは、品質、独自性、明確さといった異なる評価基準にどのように影響を与えるか？
• RQ3 このバイアスは、さまざまなタイプの初心者レビュアーに一貫して見られるのか、それとも経験水準によって異なるのか？
• RQ4 レビュアーが認知的努力を払っているにもかかわらず、過去の却下履歴の有無が合理的な評価を上回る影響を及える程度はどの程度か？
• RQ5 このバイアスは、査読における他の既知の認知バイアスと比較してどの程度の影響を及えるか？

主な発見

• 過去に却下された論文であることを知ったレビュアーは、その情報を得なかったレビュアーと比べて、10段階スケールで平均して0.78ポイント低い全体評価を与えた。
• スコア差の95％信頼区間は[-1.30, -0.24]であり、バイアスが統計的に有意であることが確認された。
• 特に「品質」基準の評価が顕著に低下しており、レビュアーが再提出後の論文の技術的・方法論的妥当性に最も懐疑的であったことが示された。
• レビュアーが詳細で熟考されたレビューや、専門家のジャッジによって熟練度が確認されたレビューを提出したにもかかわらず、バイアスは継続していたことから、これは努力不足によるものではないことが示された。
• 効果量は顕著で、再提出シグナルそのものがレビュアー評価の分散の有意な一部を占めていた。
• 過去の却下履歴の知識そのものが、過去のレビューや著者の説明が共有されていなくても、体系的な否定的バイアスを引き起こすことが実証された。