[論文レビュー] On Testing for Biases in Peer Review

Ivan Stelmakh, Nihar B. Shah+1 more|arXiv (Cornell University)|Dec 31, 2019

Expert finding and Q&A systems被引用数 15

ひとこと要約

本論文は、Tomkinsらの大规模なPeer review実験で用いられた統計的仮説検定手法に深刻な欠陥が存在することを特定し、レビュー担当者のノイズ、モデル不一致、キャリブレーションの問題といった現実的な条件下でも、第一種誤り（偽陽性）の制御に失敗することを示している。本研究では、不一致とカウント検定に基づく、新たな頑健な仮説検定フレームワークを提案する。このフレームワークは、最小限の仮定のもとで、偽アラーム率を制御し、顕著な検出力を持つことを保証する。たとえバイアスが微細であったり、測定誤差が存在しても同様に有効である。

ABSTRACT

We consider the issue of biases in scholarly research, specifically, in peer review. There is a long standing debate on whether exposing author identities to reviewers induces biases against certain groups, and our focus is on designing tests to detect the presence of such biases. Our starting point is a remarkable recent work by Tomkins, Zhang and Heavlin which conducted a controlled, large-scale experiment to investigate existence of biases in the peer reviewing of the WSDM conference. We present two sets of results in this paper. The first set of results is negative, and pertains to the statistical tests and the experimental setup used in the work of Tomkins et al. We show that the test employed therein does not guarantee control over false alarm probability and under correlations between relevant variables coupled with any of the following conditions, with high probability, can declare a presence of bias when it is in fact absent: (a) measurement error, (b) model mismatch, (c) reviewer calibration. Moreover, we show that the setup of their experiment may itself inflate false alarm probability if (d) bidding is performed in non-blind manner or (e) popular reviewer assignment procedure is employed. Our second set of results is positive and is built around a novel approach to testing for biases that we propose. We present a general framework for testing for biases in (single vs. double blind) peer review. We then design hypothesis tests that under minimal assumptions guarantee control over false alarm probability and non-trivial power even under conditions (a)--(c) as well as propose an alternative experimental setup which mitigates issues (d) and (e). Finally, we show that no statistical test can improve over the non-parametric tests we consider in terms of the assumptions required to control for the false alarm probability.

研究の動機と目的

• TomkinsらのWSDM Peer review実験で用いられた仮説検定の統計的妥当性を厳密に評価すること。
• レビュー担当者のノイズやモデル不一致といった一般的な現実的条件下でも、元の検定手法が第一種誤り（偽陽性率）を制御できないことを示すこと。
• 単 blinded および double blinded Peer reviewにおけるバイアス検出のための新しい統計的フレームワークを開発し、偽アラーム率の制御と非自明な検出力の両立を保証すること。
• 非盲検入札や一般的なレビュアー割り当て手法による偽陽性の増大を低減する改善された実験設計を提案すること。
• 第一種誤り制御に必要な仮定の観点から、提案されたノンパラメトリック検定の理論的最適性を確立すること。

提案手法

• 単盲検と二重盲検の条件におけるレビュアー評点の不一致を比較することで、系統的なバイアスを検出する不一致に基づく検定を提案する。
• 複数の条件におけるレビュアー意思決定を集約することで、帰無仮説下での期待される行動からの逸脱を検出するカウントに基づく検定を導入する。
• 帰無仮説（バイアスなし）と対立仮説（バイアスあり）の下でのレビュアー意思決定確率を形式化するための一般化ロジスティックモデルを採用する。
• すべての可能なレビュアー・ペーパー割り当てが帰無仮説下で等確率となるようにランダム化された割り当て手順を用いることで、妥当な統計的推論を可能にする。
• 全確率の法則を用いて、条件付き結果をすべての可能な構成にわたる無条件の第一種誤り制御に拡張する。
• 提案されたノンパラメトリック検定が、第一種誤り制御に必要な仮定をより良く満たす他のいかなる検定よりも理論的に最適であることを示す。

実験結果

リサーチクエスチョン

• RQ1 Tomkins らのWSDM実験で用いられた統計的検定は、レビュアーのノイズやモデル不一致といった現実的条件下でも、第一種誤りを信頼性高く制御できるか？
• RQ2 最小限の仮定のもとで、第一種誤り制御と非自明な検出力を持つ新しい仮説検定フレームワークを設計できるか？
• RQ3 非盲検入札や標準的なレビュアー割り当て手法といった要因は、バイアス検出における偽陽性率にどのように影響を与えるか？
• RQ4 第一種誤り制御に必要な仮定の観点から、バイアス検出のためのいかなる統計的検定の性能に理論的限界があるか？
• RQ5 測定誤差やレビュアーのキャリブレーションのずれが生じても、提案された検定は微細なバイアスを検出できるか？

主な発見

• Tomkins らの研究で用いられた検定は、レビュアーのノイズやモデル不一致といった妥当な条件下でも、第一種誤りを制御できない。偽陽性率は0.5以上に達する可能性がある。
• 提案された不一致検定およびカウント検定は、測定誤差、モデル不一致、レビュアーのキャリブレーションのずれが存在する状況でも、第一種誤りを最小限の仮定のもとで制御する。
• 新しい実験設定により、非盲検入札や一般的なレビュアー割り当て手法が引き起こす偽アラームの増大が緩和された。
• 提案されたノンパラメトリック検定は理論的に最適である：第一種誤り制御に必要な仮定をより良く満たす他のいかなる検定よりも優れている。
• シミュレーションにより、提案された検定は、相関のあるレビュアー評点やノイズの大きい推定値の下でも高い検出力を維持しており、元の手法を上回ることを示した。
• 強いパラメトリック仮定の破れに対しても頑健であるため、多様なレビュアー行動を伴う現実世界のPeer review環境に適している。